AJ Piergiovanni e Anelia Angelova, ricercatori di Google Research, hanno presentato MaMMUT, una nuova architettura che unisce visione e linguaggio per compiti multimodali. Il modello, chiamato “A Simple Architecture for Joint Learning for MultiModal Tasks”, si basa su un’idea innovativa che permette di allenare il modello contemporaneamente su obiettivi contrastivi, generativi e di localizzazione. MaMMUT è un modello multimodale compatto, con 2 miliardi di parametri, che supera i modelli di riferimento in compiti come il recupero immagine-testo, la risposta alle domande visive (VQA) e la generazione di didascalie per immagini.
Il modello MaMMUT utilizza un solo encoder di immagini e un solo decoder di testo, consentendo il riutilizzo diretto di entrambi i componenti. Inoltre, l’architettura del modello permette una facile adattamento a compiti video-testo, sfruttando informazioni spazio-temporali dai video tramite l’utilizzo di “tubi video” e permettendo di elaborare video con un numero maggiore di fotogrammi rispetto ai modelli precedenti.
Un aspetto sorprendente di MaMMUT è che un singolo decoder di linguaggio è sufficiente per compiere tutti i compiti multimodali. Questo elimina la necessità di strutture complesse e procedure di addestramento precedentemente utilizzate. La struttura del modello permette di combinare obiettivi contrastivi e generativi all’interno del decoder stesso, consentendo al modello di apprendere rappresentazioni sia per il recupero immagine-testo che per la generazione di didascalie.
MaMMUT supera i modelli di riferimento in compiti come il recupero immagine-testo e il recupero testo-immagine senza necessità di adattamenti specifici. Inoltre, ottiene risultati competitivi nel compito di VQA, anche se con un modello significativamente più piccolo rispetto ai modelli di riferimento. Il modello MaMMUT dimostra anche un’elevata efficienza nell’adattamento a compiti video-testo, consentendo di elaborare un numero maggiore di fotogrammi rispetto ai modelli precedenti.
L’architettura di MaMMUT offre vantaggi significativi in termini di dimensioni del modello e prestazioni. Inoltre, la sua versatilità permette l’applicazione a una vasta gamma di compiti multimodali come il recupero immagine-testo, la VQA e la generazione di didascalie.
Concludendo, MaMMUT rappresenta un passo avanti nella ricerca sulla visione e il linguaggio, offrendo un’architettura semplice e compatta che supera i modelli di riferimento in diversi compiti multimodali.
