Rivoluzione di Chameleon nei Modelli Early-Fusion

Chameleon è il nuovo modello di intelligenza artificiale sviluppato dal Chameleon Team, capace di comprendere e generare immagini e testi in qualsiasi sequenza arbitraria. Questa famiglia di modelli early-fusion token-based rappresenta un passo significativo nell’unificazione dei documenti multimodali, dimostrando capacità ampie e generali che la posizionano al vertice della tecnologia attuale.

Il Chameleon Team ha messo a punto un approccio di addestramento stabile sin dall’inizio, accompagnato da una ricetta di allineamento e da una parametrizzazione architettonica specifica per l’ambiente early-fusion, token-based e multimodale. Il modello è stato valutato su un’ampia gamma di compiti, tra cui il visual question answering, la didascalia di immagini, la generazione di testi, la generazione di immagini e la generazione multimodale a lungo termine.

I risultati sono impressionanti: Chameleon ha ottenuto prestazioni all’avanguardia nelle attività di didascalia di immagini, superando Llama-2 nei compiti esclusivamente testuali e competendo con modelli avanzati come Mixtral 8x7B e Gemini-Pro. Inoltre, è in grado di eseguire una generazione di immagini non banale, il tutto con un unico modello. In una nuova valutazione della generazione multimodale a lungo termine, Chameleon ha eguagliato o superato le prestazioni di modelli molto più grandi, come Gemini Pro e GPT-4V, secondo giudizi umani su documenti che contengono sequenze miste di immagini e testo.

Chameleon non solo ridefinisce le capacità dei modelli multimodali, ma dimostra anche l’efficacia di un approccio unificato nella gestione di documenti complessi, aprendo la strada a nuove applicazioni e miglioramenti nell’intelligenza artificiale.

NEWS AIopenmind su:

3D (7)6G (1)Accademia di Comunicazione (4)Acer (1)Adobe (39)Aeronautica (9)Africa (3)Agenti AI (2)Agenti autonomi (1)Agenzia delle Entrate (1)Agenzia Spaziale Europea (ESA) (1)Agenzia viaggi (1)AGI (Intelligenza artificiale generalizzata) (9)AGID (1)Amazon (42)Ambiente (3)AMD (1)Android (6)Animali (6)Animazione (4)Anthropic (21)Anziani (1)App (10)Apple (65)Archeologia (3)Architettura (4)Archivi storici (1)Armi (3)Arredamento interni (2)Arte (29)Assistente vocale (6)Astronomia (2)Asus (2)AT&T (1)Audi (1)Audio (55)Autoapprendimento (1)Avatar (7)Aviazione (1)Avvocati (2)Aziende (19)Banca (4)Bard (3)Biblioteca (1)Bill Gates (2)Bing (9)Biologia (1)Birra (1)Blockchain (2)Boston Dynamics (2)Calcio (2)Canva (7)Cattolicesimo (3)Certificazioni (1)Cesintes (1)chataudio (1)Chatbot IA (52)Chip (3)Cina (55)Cinema (11)Claude (19)Clima (3)CNR (1)Coca-Cola (1)Commercio (2)Commissione Europea (2)Compagnie aeree (1)Computer (3)Computer quantistici (32)Computer Vision (3)Comuni italiani (1)Comunicazione (10)Comunicazioni vocali (2)Concorso bellezza AI (1)Consiglio d'Europa (1)Contabilità (1)Convegno (13)Copilot (6)Copyright (14)Criptovalute (1)Cybersecurity (1)Dalle-2 (3)Dark web (2)Data center (2)Dating (1)Deepfake (3)Design automobilistico (2)Design Industriale (6)Diritti Autore (1)Disney (1)Doppiaggio (1)Drone (1)Droni (1)Dropbox (1)E-commerce (1)eBay (1)Editing fotografico (3)Editoria (11)Email (1)ENEA (2)Esercito (2)Etica (136)Europol (1)Eventi (7)Evento (8)Facebook (4)FakeNews (18)Falegnameria (1)Fauna selvatica (1)Film (6)Finanza (9)Finanziamenti Italia (3)Firefly (3)Firefox (1)Fondo Monetario Internazionale (1)Formazione (20)Fotografia (110)Francia (1)Free lance (1)G7 (1)Gaming (1)Garante privacy (20)Giappone (9)Giochi (8)Giornalismo (17)Giustizia (1)Google (320)Governo (7)Governo Italiano (3)Grafica (6)Guerra (12)Guida autonoma (5)Hong Kong (1)Hugging Face (3)IBM (7)Illustrazioni (1)iMessage (1)Immobiliare (1)India (3)Indossabili (3)Influencer (1)Informazione (9)Inghilterra (7)INPS (2)Intel (7)ISO (1)Istruzione (17)Jailbreaking (1)Kamala Harris (1)Lavoro (45)Libri (3)Linguistica computazionale (7)Linkedin (8)Linux (1)Luma AI (1)Maltrattamento infantile (1)Marina (1)Marketing (80)Medicina (28)Mercedes-Benz (1)Meta (95)Metaverso (17)Meteo (1)Microsoft (189)Midjourney (18)Mobilità sostenibile (1)Moda (5)Modelli AI (52)Motori di Ricerca (12)Mozilla (2)Museo (1)Musica (39)NASA (1)Nato (2)Natura (2)Natural Language Processing (2)Nazioni Unite (1)NBA (1)NFT (3)Nvidia (37)Occhiali (7)Occhiali Intelligenti (2)Occhiali Smart (1)Oculistica (1)Odore (1)OMS (1)ONU (1)Open Source (2)OpenAI (270)Opera (13)Opera Browser (1)Oppo (3)Oracle (2)Orologio (1)Parlamento Europeo (4)Patente di guida (1)Pensieri (1)Perplexity (10)Pianeta (2)Plugin (1)



AI open mind

Insieme per riflettere sull’intelligenza - umana e artificiale - tra studi, esperienze, democrazia e innovazione.

Google e l’IA che “legge” le emozioni: innovazione o rischio etico?

Google ha annunciato la nuova famiglia di modelli di intelligenza artificiale, PaliGemma 2, capace di analizzare immagini e, secondo l'azienda, identificare emozioni umane. Una...

Mi sono imparato la scienza?

Fahrenheit.iit e il potere della narrazione. Mercoledì 13 marzo, ore 17:00 in Accademia di Comunicazione e in streaming Registrati La narrazione può essere la lama...

Iscrizione NEWSLETTER

I dati da Lei forniti non saranno comunicati ad altri soggetti terzi e non saranno trasferiti né in Stati membri dell’Unione Europea né in paesi terzi extra UE.

Visita le sezioni del sito

Link utili

Casi studio, contributi

AI governance: A research agenda, Governance of AI program, Future of Umanity Institute, University of Oxford, Dafoe A., 2017 Artificial intelligence (AI) is a po-tent...

Libri

Ricerche

Piattaforme Corsi Gratuiti

White paper, guidelines