Google Research: modelli di lingua più grandi imparano diversamente in-contexto

Il 15 maggio 2023, Google Research ha pubblicato un post sul proprio blog intitolato “I modelli di lingua più grandi imparano in contesti differenti”, scritto da Jerry Wei, studente ricercatore, e Denny Zhou, Principal Scientist. I ricercatori spiegano che i modelli di lingua sono diventati molto avanzati grazie alla loro capacità di apprendere in-contexto (ICL), un processo in cui i modelli sono stimolati con alcuni esempi di input-label prima di eseguire il compito su un esempio di valutazione non visto. Questa abilità è resa possibile dal loro utilizzo di conoscenze semantiche precedentemente apprese per prevedere le etichette e dalle loro abilità di apprendere i mapping input-label dai contesti forniti.

Nel post, i ricercatori esaminano come questi due fattori interagiscono nei modelli di lingua di diversa scala in ambienti di apprendimento in-contexto, tramite l’analisi di due diverse impostazioni. La prima è l’apprendimento in-contexto con etichette invertite, dove i modelli sono stimolati con esempi che presentano etichette invertite rispetto alle conoscenze semantiche precedentemente apprese, costringendoli a ignorare queste ultime per eseguire correttamente il compito. La seconda impostazione è l’apprendimento in-contexto con etichette semanticamente non correlate, dove le etichette in contesto sono sostituite con parole che non sono semanticamente correlate al compito che si intende eseguire, costringendo il modello a eseguire il mapping input-label.

I ricercatori hanno testato cinque diverse famiglie di modelli di lingua su sette diversi compiti di elaborazione del linguaggio naturale, tra cui l’analisi del sentimento e la rilevazione dell’odio. Hanno scoperto che i modelli di lingua più grandi possono ignorare le conoscenze semantiche apprese precedentemente quando sono presentate etichette invertite in contesto, mentre i modelli di lingua più piccoli non possono farlo. Hanno anche scoperto che i modelli di lingua più piccoli dipendono maggiormente dalle conoscenze semantiche apprese precedentemente rispetto ai modelli di lingua più grandi quando sono presenti etichette semanticamente non correlate.

I ricercatori ritengono che questi risultati possano essere utilizzati per migliorare le prestazioni dei modelli di lingua, attraverso la messa a punto degli algoritmi di apprendimento in-contexto e la scelta dei modelli più adatti per ogni compito di elaborazione del linguaggio naturale.

NEWS AIopenmind su:

3D (4)6G (1)Accademia di Comunicazione (1)Acer (1)Adobe (26)Aeronautica (9)Africa (2)Agenzia delle Entrate (1)Agenzia Spaziale Europea (ESA) (1)Agenzia viaggi (1)AGI (Intelligenza artificiale generalizzata) (3)AGID (1)Amazon (22)Ambiente (1)AMD (1)Android (5)Animali (6)Animazione (3)Anziani (1)App (5)Apple (43)Archeologia (3)Architettura (4)Armi (3)Arredamento interni (2)Arte (26)Assistente vocale (2)Astronomia (2)Asus (1)AT&T (1)Audio (35)Autoapprendimento (1)Avatar (3)Aviazione (1)Avvocati (2)Aziende (13)Banca (3)Bard (3)Biblioteca (1)Bill Gates (1)Bing (9)Biologia (1)Birra (1)Blockchain (2)Boston Dynamics (2)Calcio (2)Canva (3)Cattolicesimo (3)Certificazioni (1)Cesintes (1)chataudio (1)Chatbot IA (39)Chip (3)Cina (50)Cinema (3)Claude (9)Clima (2)CNR (1)Coca-Cola (1)Commercio (2)Commissione Europea (1)Compagnie aeree (1)Computer (1)Computer quantistici (29)Computer Vision (3)Comuni italiani (1)Comunicazione (9)Comunicazioni vocali (2)Concorso bellezza AI (1)Contabilità (1)Convegno (13)Copilot (5)Copyright (6)Criptovalute (1)Cybersecurity (1)Dalle-2 (2)Dark web (2)Dating (1)Deepfake (2)Design automobilistico (2)Design Industriale (6)Diritti Autore (1)Doppiaggio (1)Drone (1)Droni (1)Dropbox (1)E-commerce (1)eBay (1)Editing fotografico (2)Editoria (8)ENEA (2)Esercito (2)Etica (116)Europol (1)Eventi (4)Evento (7)Facebook (3)FakeNews (18)Falegnameria (1)Fauna selvatica (1)Film (2)Finanza (7)Finanziamenti Italia (3)Firefly (3)Formazione (10)Fotografia (84)Francia (1)Free lance (1)G7 (1)Gaming (1)Garante privacy (18)Giappone (8)Giochi (5)Giornalismo (10)Giustizia (1)Google (198)Governo (7)Governo Italiano (1)Grafica (5)Guerra (12)Guida autonoma (3)Hong Kong (1)Hugging Face (2)IBM (6)Illustrazioni (1)iMessage (1)Immobiliare (1)India (3)Indossabili (2)Influencer (1)Informazione (8)Inghilterra (4)INPS (2)Intel (4)Istruzione (16)Jailbreaking (1)Lavoro (43)Libri (3)Linguistica computazionale (6)Linkedin (6)Maltrattamento infantile (1)Marina (1)Marketing (28)Medicina (23)Mercedes-Benz (1)Meta (44)Metaverso (15)Microsoft (129)Midjourney (11)Mobilità sostenibile (1)Moda (5)Modelli AI (18)Motori di Ricerca (3)Mozilla (2)Musica (27)Nato (1)Natura (1)Natural Language Processing (2)Nazioni Unite (1)NBA (1)NFT (3)Nvidia (27)Occhiali (2)Occhiali Intelligenti (1)Occhiali Smart (1)Oculistica (1)OMS (1)ONU (1)Open Source (2)OpenAI (178)Opera (7)Opera Browser (1)Oppo (2)Oracle (2)Orologio (1)Parlamento Europeo (4)Patente di guida (1)Pensieri (1)Perplexity (1)Pianeta (1)Plugin (1)Polizia (2)Ponti (1)Presentazioni aziendali (2)Privacy (19)Programmazione (9)Prompt (5)Pubblicazione (1)Pubblicità (16)QR Code (1)Qualcomm (3)Ray-Ban (2)Realtà mista (3)Reddit (3)Relazioni internazionali (2)Relazioni Pubbliche (3)Religione (1)Report (69)Ricerca scientifica (8)Riconoscimento emotivo (1)



AI open mind

Insieme per riflettere sull’intelligenza - umana e artificiale - tra studi, esperienze, democrazia e innovazione.

Cosimo Accoto: Un Viaggio Filosofico nell’Era delle Tecnologie Avanzate

https://www.youtube.com/watch?v=EZj2iiOgGN8 In un'epoca in cui la tecnologia avanza a un ritmo vertiginoso, comprendere le implicazioni profonde delle innovazioni diventa fondamentale. Questo è il tema centrale...

Recall: La tua memoria fotografica digitale sui nuovi Copilot+ PC

Microsoft ha annunciato un aggiornamento significativo per la funzione Recall (anteprima) dei suoi nuovi Copilot+ PC. La data di rilascio della funzione, originariamente prevista...

Mi sono imparato la scienza?

Fahrenheit.iit e il potere della narrazione. Mercoledì 13 marzo, ore 17:00 in Accademia di Comunicazione e in streaming Registrati La narrazione può essere la lama...

Iscrizione NEWSLETTER

I dati da Lei forniti non saranno comunicati ad altri soggetti terzi e non saranno trasferiti né in Stati membri dell’Unione Europea né in paesi terzi extra UE.

Visita le sezioni del sito

Link utili

Casi studio, contributi

AI governance: A research agenda, Governance of AI program, Future of Umanity Institute, University of Oxford, Dafoe A., 2017 Artificial intelligence (AI) is a po-tent...

Libri

Ricerche

Piattaforme Corsi Gratuiti

White paper, guidelines