Da Bert a ChatGPT, i modelli linguistici basati su deep learning sono una delle più importanti innovazioni in materia di intelligenza artificiale. Un large language model (LLM), ovvero un modello linguistico ampio, è alla base degli strumenti di intelligenza artificiale come ChatGPT e riproduce in maniera informatica la capacità umana di indovinare la parola successiva in una frase. In questo modo, questi modelli sono in grado di generare testi e addirittura saggi, ma la loro qualità dipende ancora dalla loro evoluzione.
Come spiegato da AI Multiple, un large language model è un modello basato su machine learning addestrato su un vasto corpus di testi, in grado di generare output in vari ambiti dell’elaborazione naturale del linguaggio come la generazione di testi, la risposta alle domande e la traduzione automatica.
Alcuni esperti considerano i nuovi algoritmi di intelligenza artificiale capaci di emulare le capacità umane, ma non tutti concordano con questa visione. La quantità dei parametri di un modello fornisce una buona approssimazione di quanto sarà accurato il lavoro da esso svolto, ma ci sono altri fattori in gioco.
I large language model sono reti neurali estremamente vaste impiegate a scopi linguistici, e di conseguenza rappresentano una forma di algoritmo di deep learning in grado di riconoscere, riassumere, tradurre, prevedere e generare testi e altri contenuti sulla base della conoscenza appresa dal loro dataset.
AutoGPT, un agente artificiale intelligente basato su ChatGPT, introduce la capacità di attuare attività autonome e indipendenti per raggiungere un obiettivo. Inoltre, a differenza dei più diffusi algoritmi di deep learning del recente passato, basati su tecniche note come convolutional neural network o recursive neural network, gli LLM sono un sottoinsieme dei cosiddetti transformer model, introdotti per la prima volta da Google nel 2017.
Il numero di parametri impiegati all’interno di queste reti neurali determina la loro dimensione e in ultima analisi la loro precisione. Al loro interno sono presenti miliardi, e nei sistemi più recenti anche centinaia o migliaia di miliardi, di parametri. Il noto GPT-3 ha 175 miliardi di parametri, mentre MT-NLG di Nvidia e Microsoft arriva a 530 miliardi. Il più grande in assoluto è WuDao 2.0 dell’Accademia di Pechino per l’intelligenza artificiale, dotato della strabiliante quantità di 1.750 miliardi di parametri.
____________
“Come funzionano i modelli linguistici dietro un’intelligenza artificiale come ChatGPT“
