Nell’articolo, intitolato “Chatbot Arena Leaderboard Week 8: Introducing MT-Bench and Vicuna-33B,” Lianmin Zheng, Wei-Lin Chiang, Ying Sheng e Hao Zhang presentano le ultime novità sulla leaderboard della Chatbot Arena. L’aggiornamento comprende ora modelli aperti e tre diverse metriche, tra cui il punteggio Elo della Chatbot Arena, basato su 42.000 voti anonimi e utilizzando il sistema di valutazione Elo. Inoltre, viene introdotto il punteggio MT-Bench, basato su una sfida multi-turno e una valutazione GPT-4, proposta e convalidata nel loro articolo “Judging LLM-as-a-judge.” Infine, viene presentato il benchmark ampiamente adottato MMLU e la nuova serie di modelli Vicuna-v1.3, che variano da 7 miliardi a 33 miliardi di parametri e sono stati addestrati su una vasta gamma di conversazioni condivise dagli utenti.
Insieme per riflettere sull’intelligenza - umana e artificiale - tra studi, esperienze, democrazia e innovazione.
