Innovazione Linguistica: Apple e i Modelli Specializzati per Domini Limitati

Nel suo studio più recente, si esplora il lavoro svolto da Apple riguardante l’utilizzo di modelli linguistici specializzati con inferenza economica da dati di dominio limitato. Il lavoro sottolinea come i modelli linguistici di grandi dimensioni siano diventati uno strumento versatile ma sfidante da applicare a compiti privi di ampi budget di inferenza e set di addestramento in dominio.

Il documento formalizza queste limitazioni e distingue quattro variabili importanti: il budget di preaddestramento, il budget di specializzazione, il budget di inferenza e la dimensione del set di addestramento in dominio.

Attraverso questi scenari, vengono confrontati diversi approcci presenti nella letteratura sull’apprendimento automatico.

Limitati dal costo dell’inferenza, vengono individuate migliori alternative alla pratica standard di addestrare modelli trasformer vaniglia molto grandi.

In particolare, si evidenzia che le iper-reti e le miscele di esperti hanno una perplessità migliore per grandi budget di preaddestramento, mentre i modelli più piccoli addestrati su dataset campionati per importanza sono attraenti per grandi budget di specializzazione.
_____
Specialized Language Models with Cheap Inference from Limited Domain Data

NEWS AIopenmind su:

3D (4)6G (1)Adobe (15)Aeronautica (7)Africa (2)Agenzia viaggi (1)AGI (Intelligenza artificiale generalizzata) (2)Amazon (9)Ambiente (1)Android (2)Animali (6)Animazione (3)Anziani (1)App (2)Apple (25)Archeologia (3)Architettura (3)Armi (3)Arredamento interni (1)Arte (24)Assistente vocale (1)Astronomia (2)AT&T (1)Audio (25)Autoapprendimento (1)Avatar (2)Aviazione (1)Avvocati (2)Aziende (10)Banca (3)Bard (3)Biblioteca (1)Bill Gates (1)Bing (9)Biologia (1)Birra (1)Blockchain (2)Boston Dynamics (1)Calcio (2)Canva (1)Cattolicesimo (3)Certificazioni (1)chataudio (1)Chatbot IA (29)Chip (2)Cina (48)Cinema (2)Clima (2)CNR (1)Coca-Cola (1)Commercio (2)Commissione Europea (1)Compagnie aeree (1)Computer quantistici (26)Computer Vision (3)Comuni italiani (1)Comunicazione (6)Comunicazioni vocali (2)Contabilità (1)Convegno (3)Copilot (1)Copyright (4)Criptovalute (1)Cybersecurity (1)Dalle-2 (1)Dark web (2)Dating (1)Deepfake (2)Design automobilistico (2)Design Industriale (1)Doppiaggio (1)Drone (1)Droni (1)Dropbox (1)E-commerce (1)Editing fotografico (2)Editoria (7)ENEA (1)Esercito (2)Etica (105)Europol (1)Eventi (4)Evento (7)Facebook (3)FakeNews (15)Falegnameria (1)Fauna selvatica (1)Film (2)Finanza (5)Finanziamenti Italia (2)Firefly (3)Formazione (5)Fotografia (59)Francia (1)Free lance (1)Gaming (1)Garante privacy (13)Giappone (8)Giochi (3)Giornalismo (10)Giustizia (1)Google (140)Governo (6)Grafica (2)Guerra (8)Guida autonoma (3)Hong Kong (1)IBM (5)Illustrazioni (1)iMessage (1)Immobiliare (1)India (3)Influencer (1)Informazione (4)Inghilterra (2)INPS (1)Intel (2)Istruzione (13)Lavoro (39)Libri (2)Linguistica computazionale (6)Linkedin (3)Maltrattamento infantile (1)Marina (1)Marketing (14)Medicina (19)Mercedes-Benz (1)Meta (27)Metaverso (15)Microsoft (75)Midjourney (10)Mobilità sostenibile (1)Moda (5)Motori di Ricerca (1)Mozilla (2)Musica (17)Nato (1)Natura (1)Natural Language Processing (2)Nazioni Unite (1)NBA (1)NFT (3)Nvidia (13)Occhiali (1)Oculistica (1)OMS (1)Open Source (1)OpenAI (112)Opera (2)Opera Browser (1)Oracle (1)Orologio (1)Parlamento Europeo (3)Patente di guida (1)Pensieri (1)Pianeta (1)Plugin (1)Polizia (2)Ponti (1)Presentazioni aziendali (2)Privacy (15)Programmazione (5)Prompt (5)Pubblicazione (1)Pubblicità (12)QR Code (1)Realtà mista (2)Relazioni internazionali (2)Relazioni Pubbliche (3)Religione (1)Report (44)Ricerca scientifica (6)Riconoscimento emotivo (1)Risorse online (100)Ristorazione (2)Robotica (23)Salute (2)Samsung (2)Sanità (14)Satelliti (2)Sceneggiatura (1)Semiconduttori (2)SEO (1)Shopping online (1)Sicurezza (15)Sicurezza informatica (26)SMS (1)Snapchat (2)Soccorso (1)Società (1)Software (3)Sport (1)Stable Animation SDK (1)Stable Diffusion (7)Standard (2)Startup (8)streaming live (1)Superintelligenza (1)Sviluppatori (1)Sviluppo sostenibile (1)



AI open mind

Insieme per riflettere sull’intelligenza - umana e artificiale - tra studi, esperienze, democrazia e innovazione.

Edge di Microsoft: Espandi i Tuoi Orizzonti Online con Copilot!

Microsoft Edge presenta la sua nuova funzionalità, Copilot, un assistente basato sull'intelligenza artificiale integrato direttamente nel browser. Questo strumento mira a ottimizzare il tempo...

AI ACT E INTELLIGENCE ECONOMICA. Impatti e riflessioni strategiche per il Sistema Paese.

15 febbraio ore 15.30 https://youtu.be/FsjakDQOBQM presso Macroarea Ingegneria - Università degli Studi di Roma “Tor vergata” Edificio Presidenza, Aula Galileo, Via del Politecnico 1 (posti limitati...

Iscrizione NEWSLETTER

I dati da Lei forniti non saranno comunicati ad altri soggetti terzi e non saranno trasferiti né in Stati membri dell’Unione Europea né in paesi terzi extra UE.

Visita le sezioni del sito

Link utili

Casi studio, contributi

AI governance: A research agenda, Governance of AI program, Future of Umanity Institute, University of Oxford, Dafoe A., 2017 Artificial intelligence (AI) is a po-tent...

Libri

Ricerche

Piattaforme Corsi Gratuiti

White paper, guidelines