ImageBind: Apprendimento olistico di IA attraverso sei modalità

ImageBind è il primo modello di IA al mondo in grado di vincolare le informazioni da sei modalità diverse, dotando le macchine di una comprensione olistica che connette gli oggetti in una foto con il suono, la loro forma 3D, la loro temperatura e il loro movimento. In questo modo, ImageBind aiuta a far progredire l’IA, consentendo alle macchine di analizzare insieme diverse forme di informazioni.

Il modello apprende un singolo embedding, o spazio di rappresentazione condiviso, non solo per il testo, le immagini/video e l’audio, ma anche per i sensori che registrano la profondità (3D), il calore (radiazione infrarossa) e le unità di misura inerziali (IMU), che calcolano il movimento e la posizione. ImageBind è in grado di superare i modelli specialistici precedenti addestrati individualmente per una particolare modalità, come descritto nel loro studio.

ImageBind consente di creare immagini dall’audio, come creare un’immagine basata sui suoni di una foresta pluviale o di un mercato affollato. Ciò apre le porte per possibilità future come il riconoscimento, la connessione e la moderazione di contenuti, la generazione di contenuti più ricchi e la creazione di funzioni di ricerca multimodali più ampie.

Per aiutare a creare sistemi di IA multimodali in grado di apprendere da tutti i tipi di dati possibili attorno a loro, ImageBind rappresenta un passo avanti per gli scienziati che cercano di sviluppare nuovi sistemi olistici, come combinare sensori 3D e IMU per progettare o esperire mondi virtuali immersivi.

Invece di creare set di dati con esempi che contengono dati audio e termici da una strada affollata, o dati di profondità e una descrizione testuale di una scogliera, ImageBind dimostra che è possibile creare uno spazio di embedding comune tra molte modalità diverse senza la necessità di addestrare su dati con ogni combinazione diversa di modalità.

ImageBind si integra con gli strumenti di intelligenza artificiale di Meta, come DINOv2, che non richiede la messa a punto per addestrare modelli di visione artificiale ad alte prestazioni, e Segment Anything (SAM), un modello di segmentazione universale che può segmentare qualsiasi oggetto in qualsiasi immagine. ImageBind si concentra sulla rappresentazione multimodale, apprendendo un singolo spazio di embedding allineato per molte modalità diverse, tra cui, ma non solo, immagini e video.

NEWS AIopenmind su:

3D (4)6G (1)Accademia di Comunicazione (1)Adobe (17)Aeronautica (8)Africa (2)Agenzia viaggi (1)AGI (Intelligenza artificiale generalizzata) (2)AGID (1)Amazon (13)Ambiente (1)Android (3)Animali (6)Animazione (3)Anziani (1)App (5)Apple (26)Archeologia (3)Architettura (3)Armi (3)Arredamento interni (1)Arte (24)Assistente vocale (1)Astronomia (2)AT&T (1)Audio (27)Autoapprendimento (1)Avatar (2)Aviazione (1)Avvocati (2)Aziende (10)Banca (3)Bard (3)Biblioteca (1)Bill Gates (1)Bing (9)Biologia (1)Birra (1)Blockchain (2)Boston Dynamics (1)Calcio (2)Canva (1)Cattolicesimo (3)Certificazioni (1)Cesintes (1)chataudio (1)Chatbot IA (29)Chip (2)Cina (48)Cinema (3)Claude (4)Clima (2)CNR (1)Coca-Cola (1)Commercio (2)Commissione Europea (1)Compagnie aeree (1)Computer quantistici (27)Computer Vision (3)Comuni italiani (1)Comunicazione (6)Comunicazioni vocali (2)Contabilità (1)Convegno (10)Copilot (4)Copyright (5)Criptovalute (1)Cybersecurity (1)Dalle-2 (1)Dark web (2)Dating (1)Deepfake (2)Design automobilistico (2)Design Industriale (1)Doppiaggio (1)Drone (1)Droni (1)Dropbox (1)E-commerce (1)Editing fotografico (2)Editoria (7)ENEA (2)Esercito (2)Etica (109)Europol (1)Eventi (4)Evento (7)Facebook (3)FakeNews (15)Falegnameria (1)Fauna selvatica (1)Film (2)Finanza (6)Finanziamenti Italia (2)Firefly (3)Formazione (6)Fotografia (65)Francia (1)Free lance (1)G7 (1)Gaming (1)Garante privacy (15)Giappone (8)Giochi (5)Giornalismo (10)Giustizia (1)Google (150)Governo (7)Grafica (2)Guerra (8)Guida autonoma (3)Hong Kong (1)IBM (5)Illustrazioni (1)iMessage (1)Immobiliare (1)India (3)Indossabili (1)Influencer (1)Informazione (6)Inghilterra (2)INPS (1)Intel (3)Istruzione (15)Lavoro (41)Libri (2)Linguistica computazionale (6)Linkedin (3)Maltrattamento infantile (1)Marina (1)Marketing (14)Medicina (21)Mercedes-Benz (1)Meta (31)Metaverso (15)Microsoft (92)Midjourney (10)Mobilità sostenibile (1)Moda (5)Motori di Ricerca (2)Mozilla (2)Musica (20)Nato (1)Natura (1)Natural Language Processing (2)Nazioni Unite (1)NBA (1)NFT (3)Nvidia (21)Occhiali (2)Occhiali Intelligenti (1)Oculistica (1)OMS (1)ONU (1)Open Source (1)OpenAI (123)Opera (2)Opera Browser (1)Oppo (1)Oracle (1)Orologio (1)Parlamento Europeo (4)Patente di guida (1)Pensieri (1)Pianeta (1)Plugin (1)Polizia (2)Ponti (1)Presentazioni aziendali (2)Privacy (16)Programmazione (7)Prompt (5)Pubblicazione (1)Pubblicità (13)QR Code (1)Qualcomm (1)Ray-Ban (1)Realtà mista (2)Reddit (1)Relazioni internazionali (2)Relazioni Pubbliche (3)Religione (1)Report (46)Ricerca scientifica (7)Riconoscimento emotivo (1)Risorse online (100)Ristorazione (2)Robotica (27)Salute (3)Samsung (3)Sanità (14)Satelliti (2)Sceneggiatura (1)Semiconduttori (2)SEO (1)Shopping online (1)Sicurezza (15)Sicurezza informatica (34)SMS (1)Snapchat (2)



AI open mind

Insieme per riflettere sull’intelligenza - umana e artificiale - tra studi, esperienze, democrazia e innovazione.

Verso un Mondo Quantico: Google, GESDA e XPRIZE insieme per affrontare le sfide del domani

https://www.youtube.com/watch?v=XLBIJk6AXjg Google Quantum AI e Google.org si uniscono a XPRIZE e al Geneva Science and Diplomacy Anticipator (GESDA) per lanciare XPRIZE Quantum Applications, una competizione...

Pixel 8: L’evoluzione dell’intelligenza artificiale nel palmo della mano

Google ha annunciato oggi che presto introdurrà funzionalità alimentate da intelligenza artificiale direttamente sul dispositivo, come riassunti di registrazione e risposte intelligenti sul Pixel...

Mi sono imparato la scienza?

Fahrenheit.iit e il potere della narrazione. Mercoledì 13 marzo, ore 17:00 in Accademia di Comunicazione e in streaming Registrati La narrazione può essere la lama...

Iscrizione NEWSLETTER

I dati da Lei forniti non saranno comunicati ad altri soggetti terzi e non saranno trasferiti né in Stati membri dell’Unione Europea né in paesi terzi extra UE.

Visita le sezioni del sito

Link utili

Casi studio, contributi

AI governance: A research agenda, Governance of AI program, Future of Umanity Institute, University of Oxford, Dafoe A., 2017 Artificial intelligence (AI) is a po-tent...

Libri

Ricerche

Piattaforme Corsi Gratuiti

White paper, guidelines