Nuovo modello linguistico, H2O-Danube-1.8B, promette di democratizzare l’accesso all’Intelligenza Artificiale
È stato annunciato oggi il lancio di H2O-Danube-1.8B, un nuovo modello linguistico open source contenente 1.8 miliardi di parametri, progettato per rendere l’Intelligenza Artificiale più accessibile a tutti.
H2O-Danube-1.8B è stato addestrato utilizzando 1 trilione di token raccolti da varie fonti web, con tecniche affinate derivanti da modelli come LLama 2 e Mistral. Nonostante i dati di addestramento relativamente limitati, i risultati dei benchmark mostrano che H2O-Danube-1.8B si comporta allo stesso livello o meglio rispetto ad altri modelli della classe da 1 a 2 miliardi di parametri in compiti come il ragionamento sul senso comune, la comprensione della lettura, la sintesi e la traduzione.
Una versione del modello ottimizzata specificamente per le applicazioni conversazionali è stata anche rilasciata: H2O-Danube-1.8B-Chat. Basandosi sul modello base H2O-Danube-1.8B, la versione per chat è stata tarata utilizzando apprendimento supervisionato su insiemi di dati di dialogo seguito da apprendimento per rinforzo utilizzando le preferenze umane. I risultati iniziali dei benchmark mostrano prestazioni all’avanguardia rispetto ai modelli di chat esistenti con meno di 2 miliardi di parametri.
Entrambe le versioni, quella base H2O-Danube-1.8B e quella ottimizzata per le chat, sono disponibili immediatamente su Hugging Face. H2O.ai rilascerà ulteriori strumenti per semplificare l’utilizzo dei modelli nelle applicazioni, oltre a esplorare potenziali future scalature dei modelli.
_______
H2O-Danube-1.8B
