StyleDrop: Generazione di immagini da testo in ogni stile

Lo studio presentato da Google Research introduce StyleDrop, un’innovativa soluzione per la generazione di immagini che rispecchiano fedelmente uno specifico stile. Grazie alla potenza di Muse, un vision transformer che converte il testo in immagini, StyleDrop offre una versatilità senza precedenti catturando ogni sfumatura e dettaglio di uno stile fornito dall’utente. Questo include schemi di colore, ombreggiature, motivi di design ed effetti locali e globali.

StyleDrop si distingue per l’efficienza con cui apprende nuovi stili, ottimizzando solo una minima parte dei parametri addestrabili (meno dell’1% dei parametri totali del modello). Inoltre, la qualità delle immagini generate viene migliorata grazie a un addestramento iterativo che può avvenire sia tramite feedback umani che automatizzati. Sorprendentemente, StyleDrop è in grado di ottenere risultati impressionanti anche quando l’utente fornisce un’unica immagine per descrivere lo stile desiderato.

Un’approfondita analisi dimostra che, per quanto riguarda l’ottimizzazione dello stile nei modelli di generazione di immagini da testo, StyleDrop su Muse supera convincentemente altri metodi come DreamBooth e Textual Inversion su Imagen o Stable Diffusion.

Il paper di ricerca intitolato “Stylized Text-to-image Generation from a Single Image” illustra come StyleDrop generi immagini di alta qualità a partire da prompt testuali in uno stile specificato da un’unica immagine di riferimento. Una descrizione dello stile in linguaggio naturale viene aggiunta ai descrittori di contenuto sia durante l’addestramento che durante la generazione.

Inoltre, StyleDrop è in grado di generare immagini di alfabeti con uno stile coerente descritto da un’unica immagine di riferimento. Anche in questo caso, viene aggiunto un descrittore di stile in linguaggio naturale ai descrittori di contenuto durante l’addestramento e la generazione.

Un aspetto interessante di StyleDrop è la sua facilità di utilizzo per il training con i propri brand asset, consentendo di prototipare rapidamente idee nel proprio stile distintivo. Durante l’addestramento e la generazione, è possibile aggiungere un descrittore di stile in linguaggio naturale ai descrittori di contenuto.

Infine, StyleDrop si combina con DreamBooth per generare un’immagine del soggetto dell’utente nel suo stile personale. L’utente può selezionare il soggetto desiderato tra diverse opzioni di contenuto e lo stile preferito tra una varietà di scelte.

StyleDrop su Muse, un vision transformer basato su token discreti, dimostra in modo convincente prestazioni superiori rispetto ai metodi esistenti basati sulla diffusione (Imagen, Stable Diffusion) per l’ottimizzazione dello stile.

StyleDrop rappresenta un importante passo avanti nella generazione di immagini da testo, consentendo agli utenti di creare immagini di alta qualità in qualsiasi stile desiderato. La sua versatilità, la capacità di apprendere nuovi stili con pochi parametri addestrabili e la combinazione con DreamBooth lo rendono uno strumento potente per esplorare la creatività e realizzare prototipi rapidamente.

NEWS AIopenmind su:

3D (4)6G (1)Accademia di Comunicazione (1)Acer (1)Adobe (24)Aeronautica (9)Africa (2)Agenzia delle Entrate (1)Agenzia Spaziale Europea (ESA) (1)Agenzia viaggi (1)AGI (Intelligenza artificiale generalizzata) (3)AGID (1)Amazon (19)Ambiente (1)Android (5)Animali (6)Animazione (3)Anziani (1)App (5)Apple (37)Archeologia (3)Architettura (4)Armi (3)Arredamento interni (2)Arte (24)Assistente vocale (2)Astronomia (2)Asus (1)AT&T (1)Audio (32)Autoapprendimento (1)Avatar (3)Aviazione (1)Avvocati (2)Aziende (13)Banca (3)Bard (3)Biblioteca (1)Bill Gates (1)Bing (9)Biologia (1)Birra (1)Blockchain (2)Boston Dynamics (2)Calcio (2)Canva (3)Cattolicesimo (3)Certificazioni (1)Cesintes (1)chataudio (1)Chatbot IA (39)Chip (3)Cina (50)Cinema (3)Claude (7)Clima (2)CNR (1)Coca-Cola (1)Commercio (2)Commissione Europea (1)Compagnie aeree (1)Computer quantistici (27)Computer Vision (3)Comuni italiani (1)Comunicazione (8)Comunicazioni vocali (2)Concorso bellezza AI (1)Contabilità (1)Convegno (13)Copilot (5)Copyright (5)Criptovalute (1)Cybersecurity (1)Dalle-2 (2)Dark web (2)Dating (1)Deepfake (2)Design automobilistico (2)Design Industriale (6)Diritti Autore (1)Doppiaggio (1)Drone (1)Droni (1)Dropbox (1)E-commerce (1)Editing fotografico (2)Editoria (8)ENEA (2)Esercito (2)Etica (113)Europol (1)Eventi (4)Evento (7)Facebook (3)FakeNews (17)Falegnameria (1)Fauna selvatica (1)Film (2)Finanza (6)Finanziamenti Italia (3)Firefly (3)Formazione (9)Fotografia (78)Francia (1)Free lance (1)G7 (1)Gaming (1)Garante privacy (17)Giappone (8)Giochi (5)Giornalismo (10)Giustizia (1)Google (187)Governo (7)Governo Italiano (1)Grafica (4)Guerra (12)Guida autonoma (3)Hong Kong (1)Hugging Face (2)IBM (6)Illustrazioni (1)iMessage (1)Immobiliare (1)India (3)Indossabili (2)Influencer (1)Informazione (7)Inghilterra (4)INPS (2)Intel (3)Istruzione (16)Jailbreaking (1)Lavoro (42)Libri (3)Linguistica computazionale (6)Linkedin (5)Maltrattamento infantile (1)Marina (1)Marketing (22)Medicina (23)Mercedes-Benz (1)Meta (42)Metaverso (15)Microsoft (123)Midjourney (11)Mobilità sostenibile (1)Moda (5)Modelli AI (16)Motori di Ricerca (2)Mozilla (2)Musica (27)Nato (1)Natura (1)Natural Language Processing (2)Nazioni Unite (1)NBA (1)NFT (3)Nvidia (25)Occhiali (2)Occhiali Intelligenti (1)Occhiali Smart (1)Oculistica (1)OMS (1)ONU (1)Open Source (2)OpenAI (166)Opera (6)Opera Browser (1)Oppo (2)Oracle (1)Orologio (1)Parlamento Europeo (4)Patente di guida (1)Pensieri (1)Pianeta (1)Plugin (1)Polizia (2)Ponti (1)Presentazioni aziendali (2)Privacy (18)Programmazione (8)Prompt (5)Pubblicazione (1)Pubblicità (16)QR Code (1)Qualcomm (3)Ray-Ban (2)Realtà mista (3)Reddit (3)Relazioni internazionali (2)Relazioni Pubbliche (3)Religione (1)Report (64)Ricerca scientifica (7)Riconoscimento emotivo (1)Risorse online (100)Ristorazione (2)Robotica (32)Salute (3)



AI open mind

Insieme per riflettere sull’intelligenza - umana e artificiale - tra studi, esperienze, democrazia e innovazione.

L’AIACT sull’Intelligenza Artificiale nell’UE

Il Consiglio ha approvato una legge innovativa mirata a armonizzare le norme sull'intelligenza artificiale, il cosiddetto atto sull'intelligenza artificiale. La legislazione di punta segue...

ChatGPT mobile: l’era dell’accesso istantaneo e senza account

OpenAI ha annunciato che presto sarà possibile utilizzare ChatGPT istantaneamente su dispositivi mobili senza la necessità di un account. La versione beta su Android...

Mi sono imparato la scienza?

Fahrenheit.iit e il potere della narrazione. Mercoledì 13 marzo, ore 17:00 in Accademia di Comunicazione e in streaming Registrati La narrazione può essere la lama...

Iscrizione NEWSLETTER

I dati da Lei forniti non saranno comunicati ad altri soggetti terzi e non saranno trasferiti né in Stati membri dell’Unione Europea né in paesi terzi extra UE.

Visita le sezioni del sito

Link utili

Casi studio, contributi

AI governance: A research agenda, Governance of AI program, Future of Umanity Institute, University of Oxford, Dafoe A., 2017 Artificial intelligence (AI) is a po-tent...

Libri

Ricerche

Piattaforme Corsi Gratuiti

White paper, guidelines