DeepSeek-AI ha recentemente annunciato il rilascio di Janus-Pro, un avanzato framework autoregressivo progettato per unificare la comprensione e la generazione multimodale. Questo modello affronta le limitazioni degli approcci precedenti separando la codifica visiva in percorsi distinti, pur mantenendo un’architettura trasformatore unificata per l’elaborazione. Tale disaccoppiamento allevia il conflitto tra i ruoli del codificatore visivo nella comprensione e nella generazione, migliorando al contempo la flessibilitĂ del framework. huggingface.co
Janus-Pro è costruito sulla base dei modelli DeepSeek-LLM-1.5b e DeepSeek-LLM-7b. Per la comprensione multimodale, utilizza SigLIP-L come codificatore visivo, supportando input di immagini fino a 384 x 384 pixel. Per la generazione di immagini, impiega un tokenizzatore con un fattore di downsampling di 16. Questa configurazione consente al modello di gestire efficacemente sia la comprensione che la generazione di contenuti visivi. arxiv.org
Le prestazioni di Janus-Pro sono state valutate su diversi benchmark. Nel test MMBench per la comprensione multimodale, la variante da 7 miliardi di parametri ha raggiunto un punteggio di 79,2, superando modelli come Janus (69,4), TokenFlow-XL (68,9) e MetaMorph (75,2). Nelle attivitĂ di generazione di testo in immagine, Janus-Pro ha ottenuto un’accuratezza complessiva dell’80% nel benchmark GenEval, superando DALL-E 3 (67%) e Stable Diffusion 3 Medium (74%). Inoltre, il modello ha raggiunto un punteggio di 84,19 nel benchmark DPG-Bench, dimostrando la sua capacitĂ di gestire prompt complessi con allineamento semantico intricato. arxiv.org
L’architettura di Janus-Pro è progettata per decodificare la codifica visiva per compiti di comprensione e generazione, garantendo un’elaborazione specializzata per ciascuno. Il codificatore per la comprensione utilizza il metodo SigLIP per estrarre caratteristiche semantiche dalle immagini, mentre il codificatore per la generazione applica un tokenizzatore VQ per convertire le immagini in rappresentazioni discrete. Queste caratteristiche vengono poi elaborate da un trasformatore autoregressivo unificato, che integra le informazioni in una sequenza di caratteristiche multimodali per i compiti successivi. arxiv.org
La strategia di addestramento prevede tre fasi: pre-addestramento prolungato su dataset diversificati, fine-tuning efficiente con rapporti di dati regolati e raffinamento supervisionato per ottimizzare le prestazioni attraverso le modalitĂ . L’aggiunta di 72 milioni di campioni di dati estetici sintetici e 90 milioni di dataset di comprensione multimodale migliora significativamente la qualitĂ e la stabilitĂ dei risultati di Janus-Pro, garantendo affidabilitĂ nella generazione di immagini dettagliate e visivamente accattivanti. arxiv.org
Janus-Pro è disponibile su GitHub sotto licenza MIT, con l’utilizzo del modello regolato dalla DeepSeek Model License. Gli utenti possono fare riferimento al repository per le istruzioni di configurazione. huggingface.c
