PaLM-E: il modello di intelligenza artificiale per il controllo autonomo dei robot

Google presenta il modello AI PaLM-E, un cervello robotico generalista che integra visione e linguaggio per il controllo robotico. Il modello multimodale di linguaggio visivo incarnato (VLM) con 562 miliardi di parametri è il più grande VLM mai sviluppato e può eseguire una varietà di compiti senza la necessità di riqualificazione. Il modello PaLM-E analizza i dati dalla telecamera del robot senza bisogno di una rappresentazione della scena pre-elaborata, consentendo un controllo robotico più autonomo.

Secondo Google, quando viene dato un comando di alto livello, come “portami le patatine di riso dal cassetto”, PaLM-E può generare un piano d’azione per una piattaforma robotica mobile con un braccio ed eseguire le azioni di per sé. In un video dimostrativo fornito da Google, PaLM-E esegue “portami le patatine di riso dal cassetto”, che include più passaggi di pianificazione oltre a incorporare il feedback visivo dalla videocamera del robot.

Il modello PaLM-E è resistente e può reagire al suo ambiente. Ad esempio, può guidare un robot a prendere un sacchetto di patatine da una cucina e diventa resistente alle interruzioni che potrebbero verificarsi durante l’attività. In un esempio video, un ricercatore prende i chip dal robot e li sposta, ma il robot individua i chip e li afferra di nuovo.

In un altro esempio, lo stesso modello PaLM-E controlla autonomamente un robot attraverso compiti con sequenze complesse che in precedenza richiedevano la guida umana. Il documento di ricerca di Google spiega come PaLM-E trasforma le istruzioni in azioni.

Poiché si basa su un modello linguistico, PaLM-E acquisisce osservazioni continue, come immagini o dati di sensori, e le codifica in una sequenza di vettori delle stesse dimensioni dei token linguistici. Ciò consente al modello di “capire” le informazioni sensoriali nello stesso modo in cui elabora il linguaggio.

PaLM-E è un predittore del token successivo e si chiama “PaLM-E” perché si basa sul modello LLM (large language model) esistente di Google chiamato “PaLM” (che è simile alla tecnologia alla base di ChatGPT). Google ha reso PaLM “incarnato” aggiungendo informazioni sensoriali e controllo robotico.

Il modello PaLM-E è un passo avanti nella direzione dell’intelligenza artificiale integrata nel mondo reale. Consente una maggiore autonomia ai robot, eliminando la necessità di rappresentazioni pre-elaborate della scena, e semplificando il processo di controllo del robot da parte degli esseri umani. Inoltre, grazie alla sua grande capacità e alla sua resistenza, può eseguire una vasta gamma di compiti senza la necessità di essere riqualificato.

_________
Google’s PaLM-E is a generalist robot brain that takes commands
Google’s Large Language Model Takes Control
PaLM-E: An embodied multimodal language model
PaLM-E: An Embodied Multimodal Language Model
Scaling Vision Transformers to 22 Billion Parameters
PaLM-E: An Embodied Multimodal Language Model
RT-1: Robotics Transformer for real-world control at scale

NEWS AIopenmind su:

3D (4)6G (1)Adobe (16)Aeronautica (7)Africa (2)Agenzia viaggi (1)AGI (Intelligenza artificiale generalizzata) (2)Amazon (9)Ambiente (1)Android (3)Animali (6)Animazione (3)Anziani (1)App (3)Apple (25)Archeologia (3)Architettura (3)Armi (3)Arredamento interni (1)Arte (24)Assistente vocale (1)Astronomia (2)AT&T (1)Audio (26)Autoapprendimento (1)Avatar (2)Aviazione (1)Avvocati (2)Aziende (10)Banca (3)Bard (3)Biblioteca (1)Bill Gates (1)Bing (9)Biologia (1)Birra (1)Blockchain (2)Boston Dynamics (1)Calcio (2)Canva (1)Cattolicesimo (3)Certificazioni (1)chataudio (1)Chatbot IA (29)Chip (2)Cina (48)Cinema (2)Clima (2)CNR (1)Coca-Cola (1)Commercio (2)Commissione Europea (1)Compagnie aeree (1)Computer quantistici (26)Computer Vision (3)Comuni italiani (1)Comunicazione (6)Comunicazioni vocali (2)Contabilità (1)Convegno (4)Copilot (3)Copyright (4)Criptovalute (1)Cybersecurity (1)Dalle-2 (1)Dark web (2)Dating (1)Deepfake (2)Design automobilistico (2)Design Industriale (1)Doppiaggio (1)Drone (1)Droni (1)Dropbox (1)E-commerce (1)Editing fotografico (2)Editoria (7)ENEA (1)Esercito (2)Etica (106)Europol (1)Eventi (4)Evento (7)Facebook (3)FakeNews (15)Falegnameria (1)Fauna selvatica (1)Film (2)Finanza (5)Finanziamenti Italia (2)Firefly (3)Formazione (5)Fotografia (59)Francia (1)Free lance (1)Gaming (1)Garante privacy (13)Giappone (8)Giochi (3)Giornalismo (10)Giustizia (1)Google (141)Governo (6)Grafica (2)Guerra (8)Guida autonoma (3)Hong Kong (1)IBM (5)Illustrazioni (1)iMessage (1)Immobiliare (1)India (3)Indossabili (1)Influencer (1)Informazione (4)Inghilterra (2)INPS (1)Intel (2)Istruzione (13)Lavoro (39)Libri (2)Linguistica computazionale (6)Linkedin (3)Maltrattamento infantile (1)Marina (1)Marketing (14)Medicina (19)Mercedes-Benz (1)Meta (29)Metaverso (15)Microsoft (79)Midjourney (10)Mobilità sostenibile (1)Moda (5)Motori di Ricerca (1)Mozilla (2)Musica (18)Nato (1)Natura (1)Natural Language Processing (2)Nazioni Unite (1)NBA (1)NFT (3)Nvidia (14)Occhiali (2)Oculistica (1)OMS (1)Open Source (1)OpenAI (113)Opera (2)Opera Browser (1)Oppo (1)Oracle (1)Orologio (1)Parlamento Europeo (3)Patente di guida (1)Pensieri (1)Pianeta (1)Plugin (1)Polizia (2)Ponti (1)Presentazioni aziendali (2)Privacy (15)Programmazione (6)Prompt (5)Pubblicazione (1)Pubblicità (12)QR Code (1)Qualcomm (1)Realtà mista (2)Relazioni internazionali (2)Relazioni Pubbliche (3)Religione (1)Report (44)Ricerca scientifica (6)Riconoscimento emotivo (1)Risorse online (100)Ristorazione (2)Robotica (24)Salute (2)Samsung (2)Sanità (14)Satelliti (2)Sceneggiatura (1)Semiconduttori (2)SEO (1)Shopping online (1)Sicurezza (15)Sicurezza informatica (26)SMS (1)Snapchat (2)Soccorso (1)Società (1)Software (3)Sport (1)Stable Animation SDK (1)Stable Diffusion (7)Standard (2)Startup (9)streaming live (1)



AI open mind

Insieme per riflettere sull’intelligenza - umana e artificiale - tra studi, esperienze, democrazia e innovazione.

L’Assistente Virtuale di Klarna Rivoluziona l’Esperienza Cliente

Nel corso del primo mese di attività dell'assistente virtuale alimentato da OpenAI di Klarna, l'azienda ha annunciato risultati sorprendenti. Lanciato globalmente, l'assistente ha gestito...

AI ACT E INTELLIGENCE ECONOMICA. Impatti e riflessioni strategiche per il Sistema Paese.

15 febbraio ore 15.30 https://youtu.be/FsjakDQOBQM presso Macroarea Ingegneria - Università degli Studi di Roma “Tor vergata” Edificio Presidenza, Aula Galileo, Via del Politecnico 1 (posti limitati...

Iscrizione NEWSLETTER

I dati da Lei forniti non saranno comunicati ad altri soggetti terzi e non saranno trasferiti né in Stati membri dell’Unione Europea né in paesi terzi extra UE.

Visita le sezioni del sito

Link utili

Casi studio, contributi

AI governance: A research agenda, Governance of AI program, Future of Umanity Institute, University of Oxford, Dafoe A., 2017 Artificial intelligence (AI) is a po-tent...

Libri

Ricerche

Piattaforme Corsi Gratuiti

White paper, guidelines