Nell’ambito della competizione dei modelli linguistici Open LLM Leaderboard di HuggingFace, è emerso un nuovo protagonista: Smaug-72B-v0.1. Questo modello open-source ha conquistato il primo posto, distinguendosi per una media di punteggio superiore all’80.
Smaug-72B è stato affinato direttamente da moreh/MoMo-72B-lora-1.8.7-DPO ed è fondamentalmente basato su Qwen-72B.
Per raggiungere questo risultato, gli sviluppatori hanno ampliato le tecniche e i dataset utilizzati nei loro precedenti sforzi di modellazione, integrando nuovi dataset e adottando un nuovo approccio. Si crede che questa nuova metodologia sia di grande utilità nell’addestramento di una vasta gamma di tipologie di modelli e nell’applicazione pratica di questi ultimi. Tale innovazione ha contribuito sia ai modelli Smaug-34B che a quelli 72B.
Attualmente, il team sta lavorando alla stesura di un rapporto tecnico che verrà presto reso disponibile su arXiv (potrebbe essere accompagnato anche dal lancio di un nuovo membro della famiglia Smaug!). L’entusiasmo è palpabile nel condividere i dettagli di questa tecnica con la comunità open-source, incoraggiando ulteriori sviluppi e miglioramenti per Smaug e per l’emergere di nuovi “draghi” destinati a dominare lo spazio dei modelli linguistici.
