Meta, insieme all’Università della California del Sud, ha presentato un nuovo modello di apprendimento automatico chiamato Megalodon, che mira a risolvere alcuni dei limiti fondamentali dell’architettura Transformer. I Transformer, conosciuti per aver dato origine all’era dei grandi modelli linguistici, hanno una limitazione principale: la complessità quadratica del loro meccanismo di auto-attenzione, che richiede quantità crescenti di memoria e tempo di elaborazione man mano che il contesto si espande.
Megalodon, tuttavia, introduce innovazioni significative. Grazie all’utilizzo del sistema di attenzione Moving Average Equipped Gated Attention (MEGA), il nuovo modello riduce drasticamente la complessità, permettendo di lavorare con finestre di contesto molto più ampie senza richiedere enormi risorse. Il modello si basa anche sull’attenzione chunk-wise, che divide l’input in blocchi di dimensioni fisse, riducendo la complessità da quadratica a lineare e permettendo una maggiore parallelizzazione durante l’allenamento.
Gli esperimenti iniziali hanno dimostrato che Megalodon, nella sua versione da 7 miliardi di parametri, supera significativamente le prestazioni dei Transformer di dimensioni simili. Con una finestra di contesto di 32.000 token, Megalodon ha dimostrato di essere significativamente più efficiente rispetto a Llama-2, uno dei modelli più popolari basati su Transformer.
Meta ha reso il codice di Megalodon disponibile su GitHub con una licenza MIT, facilitando la collaborazione e l’adozione del modello per scopi commerciali. Questa apertura potrebbe stimolare ulteriori sviluppi e promuovere l’adozione di soluzioni innovative nel campo dell’Intelligenza Artificiale.
Con l’innovazione di Megalodon e altre ricerche in corso, il panorama dei modelli linguistici si sta espandendo rapidamente, offrendo nuove possibilità per applicazioni avanzate nell’intelligenza artificiale.
_____
Meta challenges transformer architecture with Megalodon LLM
