Gemini, Robot e Mobility VLA: La Nuova Frontiera della Navigazione Multimodale

Nel mondo della ricerca sulla navigazione, un obiettivo ambizioso è quello di sviluppare un agente intelligente in grado di comprendere istruzioni multimodali, inclusi il linguaggio naturale e le immagini, per eseguire compiti di navigazione utili. Un nuovo studio propone una soluzione innovativa per raggiungere questo obiettivo: Mobility VLA. Questa tecnologia si concentra su una categoria di compiti di navigazione chiamata Multimodal Instruction Navigation con Tour Dimostrativi (MINT), dove l’ambiente viene presentato attraverso un video dimostrativo registrato in precedenza.

I recenti progressi nei modelli Vision-Language (VLMs) hanno mostrato una strada promettente per raggiungere questo traguardo, dimostrando capacità di percezione e ragionamento su input multimodali. Tuttavia, i VLMs sono tipicamente addestrati per prevedere output testuali, rendendo la loro applicazione nella navigazione una questione di ricerca aperta.

Mobility VLA introduce una politica di navigazione gerarchica chiamata Vision-Language-Action (VLA), che combina la comprensione dell’ambiente e il ragionamento del contesto lungo dei VLMs con una robusta politica di navigazione di basso livello basata su grafi topologici. La politica di alto livello utilizza un VLM a contesto lungo che prende il video del tour dimostrativo e le istruzioni multimodali dell’utente come input per trovare il fotogramma obiettivo nel video del tour. Successivamente, una politica di basso livello utilizza il fotogramma obiettivo e un grafo topologico costruito offline per generare azioni robotiche a ogni intervallo di tempo.

Mobility VLA è stato valutato in un ambiente reale di 836 metri quadrati, dimostrando un alto tasso di successo end-to-end su istruzioni multimodali precedentemente irrisolte, come “Dove dovrei restituire questo?” tenendo in mano un contenitore di plastica. Questa innovazione segna un passo significativo verso il futuro della navigazione intelligente.

NEWS AIopenmind su:

3D (5)6G (1)Accademia di Comunicazione (4)Acer (1)Adobe (33)Aeronautica (9)Africa (2)Agenzia delle Entrate (1)Agenzia Spaziale Europea (ESA) (1)Agenzia viaggi (1)AGI (Intelligenza artificiale generalizzata) (4)AGID (1)Amazon (30)Ambiente (2)AMD (1)Android (6)Animali (6)Animazione (4)Anthropic (8)Anziani (1)App (10)Apple (53)Archeologia (3)Architettura (4)Armi (3)Arredamento interni (2)Arte (27)Assistente vocale (3)Astronomia (2)Asus (1)AT&T (1)Audi (1)Audio (52)Autoapprendimento (1)Avatar (3)Aviazione (1)Avvocati (2)Aziende (18)Banca (3)Bard (3)Biblioteca (1)Bill Gates (2)Bing (9)Biologia (1)Birra (1)Blockchain (2)Boston Dynamics (2)Calcio (2)Canva (6)Cattolicesimo (3)Certificazioni (1)Cesintes (1)chataudio (1)Chatbot IA (42)Chip (3)Cina (52)Cinema (8)Claude (17)Clima (3)CNR (1)Coca-Cola (1)Commercio (2)Commissione Europea (2)Compagnie aeree (1)Computer (3)Computer quantistici (31)Computer Vision (3)Comuni italiani (1)Comunicazione (9)Comunicazioni vocali (2)Concorso bellezza AI (1)Consiglio d'Europa (1)Contabilità (1)Convegno (13)Copilot (5)Copyright (12)Criptovalute (1)Cybersecurity (1)Dalle-2 (3)Dark web (2)Data center (1)Dating (1)Deepfake (2)Design automobilistico (2)Design Industriale (6)Diritti Autore (1)Doppiaggio (1)Drone (1)Droni (1)Dropbox (1)E-commerce (1)eBay (1)Editing fotografico (3)Editoria (9)Email (1)ENEA (2)Esercito (2)Etica (125)Europol (1)Eventi (6)Evento (7)Facebook (4)FakeNews (18)Falegnameria (1)Fauna selvatica (1)Film (3)Finanza (7)Finanziamenti Italia (3)Firefly (3)Firefox (1)Fondo Monetario Internazionale (1)Formazione (12)Fotografia (107)Francia (1)Free lance (1)G7 (1)Gaming (1)Garante privacy (19)Giappone (9)Giochi (7)Giornalismo (11)Giustizia (1)Google (259)Governo (7)Governo Italiano (2)Grafica (5)Guerra (12)Guida autonoma (3)Hong Kong (1)Hugging Face (3)IBM (7)Illustrazioni (1)iMessage (1)Immobiliare (1)India (3)Indossabili (3)Influencer (1)Informazione (9)Inghilterra (7)INPS (2)Intel (6)ISO (1)Istruzione (16)Jailbreaking (1)Kamala Harris (1)Lavoro (44)Libri (3)Linguistica computazionale (7)Linkedin (7)Linux (1)Luma AI (1)Maltrattamento infantile (1)Marina (1)Marketing (44)Medicina (24)Mercedes-Benz (1)Meta (69)Metaverso (16)Microsoft (162)Midjourney (16)Mobilità sostenibile (1)Moda (5)Modelli AI (29)Motori di Ricerca (11)Mozilla (2)Musica (34)NASA (1)Nato (2)Natura (2)Natural Language Processing (2)Nazioni Unite (1)NBA (1)NFT (3)Nvidia (32)Occhiali (7)Occhiali Intelligenti (2)Occhiali Smart (1)Oculistica (1)OMS (1)ONU (1)Open Source (2)OpenAI (214)Opera (9)Opera Browser (1)Oppo (3)Oracle (2)Orologio (1)Parlamento Europeo (4)Patente di guida (1)Pensieri (1)Perplexity (5)Pianeta (2)Plugin (1)Polizia (2)Ponti (1)Presentazioni aziendali (4)Privacy (23)Programmazione (10)Prompt (5)Pubblicazione (1)



AI open mind

Insieme per riflettere sull’intelligenza - umana e artificiale - tra studi, esperienze, democrazia e innovazione.

Oltre 100 aziende si impegnano per un’IA sicura e trasparente

Oltre cento aziende, tra multinazionali e piccole e medie imprese europee, hanno sottoscritto il Patto sull'Intelligenza Artificiale (IA) dell'Unione Europea, impegnandosi a rispettare le...

ProWritingAid: L’Arte di Scrivere con Sicurezza

ProWritingAid si propone come un alleato indispensabile per gli scrittori, offrendo strumenti innovativi per migliorare la qualità della scrittura. Fondato nel 2012 a Londra,...

Mi sono imparato la scienza?

Fahrenheit.iit e il potere della narrazione. Mercoledì 13 marzo, ore 17:00 in Accademia di Comunicazione e in streaming Registrati La narrazione può essere la lama...

Iscrizione NEWSLETTER

I dati da Lei forniti non saranno comunicati ad altri soggetti terzi e non saranno trasferiti né in Stati membri dell’Unione Europea né in paesi terzi extra UE.

Visita le sezioni del sito

Link utili

Casi studio, contributi

AI governance: A research agenda, Governance of AI program, Future of Umanity Institute, University of Oxford, Dafoe A., 2017 Artificial intelligence (AI) is a po-tent...

Libri

Ricerche

Piattaforme Corsi Gratuiti

White paper, guidelines