Bloomberg ha annunciato oggi il rilascio di un nuovo modello di intelligenza artificiale generativa di grandi dimensioni, BloombergGPT, appositamente sviluppato per l’industria finanziaria. Questo modello linguistico, composto da 50 miliardi di parametri, è stato addestrato su una vasta gamma di dati finanziari per supportare una serie di compiti di elaborazione del linguaggio naturale nel settore finanziario.
Il modello è stato sviluppato grazie alla collaborazione del team di ricerca di prodotto di Bloomberg e del team di ingegneria dell’AI della società. Il team ha costruito uno dei dataset specifici per il settore più grandi mai creati, attingendo alle risorse di creazione, raccolta e cura dei dati dell’azienda. Sfruttando questo vasto archivio di dati finanziari, è stato creato un set di dati comprensivo di 363 miliardi di token costituito da documenti finanziari in inglese.
Il set di dati è stato poi ampliato con un set di dati pubblico di 345 miliardi di token per creare un corpus di addestramento di oltre 700 miliardi di token. Utilizzando una porzione di questo corpus di addestramento, il team ha addestrato un modello di decodifica solo-decoder causale di 50 miliardi di parametri. Il modello risultante è stato validato su benchmark NLP specifici per il settore finanziario esistenti, una suite di benchmark interni di Bloomberg e ampie categorie di compiti NLP generali da popolari benchmark.
BloombergGPT ha dimostrato di superare i modelli aperti esistenti di dimensioni simili su compiti finanziari con ampi margini, mantenendo comunque una performance competitiva sui benchmark NLP generali. Questo modello aiuterà Bloomberg a migliorare i compiti NLP finanziari esistenti, come l’analisi del sentiment, la riconoscimento delle entità nominate, la classificazione delle notizie e la risposta alle domande, tra gli altri.
Shawn Edwards, CTO di Bloomberg, ha dichiarato: “Per tutte le ragioni per cui i modelli generativi LLM sono attraenti – apprendimento a poche iterazioni, generazione di testo, sistemi conversazionali, ecc. – vediamo un enorme valore nello sviluppo del primo LLM focalizzato sul dominio finanziario”. “BloombergGPT ci permetterà di affrontare molti nuovi tipi di applicazioni, offrendo una performance molto più elevata rispetto ai modelli personalizzati per ogni applicazione, con un tempo di commercializzazione più rapido.”
Gideon Mann, responsabile del team di prodotto di ML e ricerca di Bloomberg, ha spiegato: “La qualità dei modelli di apprendimento automatico e NLP dipende dai dati che vi vengono inseriti. Grazie alla raccolta di documenti finanziari curati da Bloomberg nel corso di quattro decenni.
