StyleDrop: Generazione di immagini da testo in ogni stile

Lo studio presentato da Google Research introduce StyleDrop, un’innovativa soluzione per la generazione di immagini che rispecchiano fedelmente uno specifico stile. Grazie alla potenza di Muse, un vision transformer che converte il testo in immagini, StyleDrop offre una versatilità senza precedenti catturando ogni sfumatura e dettaglio di uno stile fornito dall’utente. Questo include schemi di colore, ombreggiature, motivi di design ed effetti locali e globali.

StyleDrop si distingue per l’efficienza con cui apprende nuovi stili, ottimizzando solo una minima parte dei parametri addestrabili (meno dell’1% dei parametri totali del modello). Inoltre, la qualità delle immagini generate viene migliorata grazie a un addestramento iterativo che può avvenire sia tramite feedback umani che automatizzati. Sorprendentemente, StyleDrop è in grado di ottenere risultati impressionanti anche quando l’utente fornisce un’unica immagine per descrivere lo stile desiderato.

Un’approfondita analisi dimostra che, per quanto riguarda l’ottimizzazione dello stile nei modelli di generazione di immagini da testo, StyleDrop su Muse supera convincentemente altri metodi come DreamBooth e Textual Inversion su Imagen o Stable Diffusion.

Il paper di ricerca intitolato “Stylized Text-to-image Generation from a Single Image” illustra come StyleDrop generi immagini di alta qualità a partire da prompt testuali in uno stile specificato da un’unica immagine di riferimento. Una descrizione dello stile in linguaggio naturale viene aggiunta ai descrittori di contenuto sia durante l’addestramento che durante la generazione.

Inoltre, StyleDrop è in grado di generare immagini di alfabeti con uno stile coerente descritto da un’unica immagine di riferimento. Anche in questo caso, viene aggiunto un descrittore di stile in linguaggio naturale ai descrittori di contenuto durante l’addestramento e la generazione.

Un aspetto interessante di StyleDrop è la sua facilità di utilizzo per il training con i propri brand asset, consentendo di prototipare rapidamente idee nel proprio stile distintivo. Durante l’addestramento e la generazione, è possibile aggiungere un descrittore di stile in linguaggio naturale ai descrittori di contenuto.

Infine, StyleDrop si combina con DreamBooth per generare un’immagine del soggetto dell’utente nel suo stile personale. L’utente può selezionare il soggetto desiderato tra diverse opzioni di contenuto e lo stile preferito tra una varietà di scelte.

StyleDrop su Muse, un vision transformer basato su token discreti, dimostra in modo convincente prestazioni superiori rispetto ai metodi esistenti basati sulla diffusione (Imagen, Stable Diffusion) per l’ottimizzazione dello stile.

StyleDrop rappresenta un importante passo avanti nella generazione di immagini da testo, consentendo agli utenti di creare immagini di alta qualità in qualsiasi stile desiderato. La sua versatilità, la capacità di apprendere nuovi stili con pochi parametri addestrabili e la combinazione con DreamBooth lo rendono uno strumento potente per esplorare la creatività e realizzare prototipi rapidamente.

NEWS AIopenmind su:

3D (4)6G (1)Adobe (14)Aeronautica (7)Africa (2)Agenzia viaggi (1)AGI (Intelligenza artificiale generalizzata) (1)Amazon (9)Ambiente (1)Android (1)Animali (6)Animazione (3)Anziani (1)App (1)Apple (16)Archeologia (2)Architettura (3)Armi (2)Arredamento interni (1)Arte (23)Astronomia (2)AT&T (1)Audio (22)Autoapprendimento (1)Avatar (2)Aviazione (1)Avvocati (1)Aziende (10)Banca (3)Bard (3)Biblioteca (1)Bill Gates (1)Bing (9)Birra (1)Blockchain (2)Boston Dynamics (1)Calcio (2)Canva (1)Cattolicesimo (3)Certificazioni (1)chataudio (1)Chatbot IA (28)Chip (2)Cina (48)Cinema (2)Clima (2)CNR (1)Coca-Cola (1)Commercio (2)Commissione Europea (1)Compagnie aeree (1)Computer quantistici (25)Computer Vision (3)Comuni italiani (1)Comunicazione (6)Comunicazioni vocali (1)Contabilità (1)Convegno (1)Copyright (4)Criptovalute (1)Cybersecurity (1)Dalle-2 (1)Dark web (2)Dating (1)Deepfake (2)Design automobilistico (2)Design Industriale (1)Doppiaggio (1)Drone (1)Droni (1)Dropbox (1)E-commerce (1)Editing fotografico (2)Editoria (7)ENEA (1)Esercito (2)Etica (99)Europol (1)Eventi (4)Evento (3)Facebook (3)FakeNews (15)Falegnameria (1)Fauna selvatica (1)Film (2)Finanza (5)Finanziamenti Italia (1)Firefly (3)Formazione (3)Fotografia (51)Francia (1)Free lance (1)Gaming (1)Garante privacy (11)Giappone (8)Giochi (3)Giornalismo (10)Giustizia (1)Google (114)Governo (6)Grafica (2)Guerra (8)Guida autonoma (2)Hong Kong (1)IBM (5)Illustrazioni (1)iMessage (1)Immobiliare (1)India (3)Influencer (1)Informazione (4)Inghilterra (2)INPS (1)Intel (2)Istruzione (13)Lavoro (38)Libri (2)Linguistica computazionale (6)Linkedin (3)Maltrattamento infantile (1)Marina (1)Marketing (13)Medicina (19)Mercedes-Benz (1)Meta (22)Metaverso (15)Microsoft (63)Midjourney (10)Mobilità sostenibile (1)Moda (5)Mozilla (2)Musica (16)Nato (1)Natura (1)Natural Language Processing (2)Nazioni Unite (1)NBA (1)NFT (3)Nvidia (12)Occhiali (1)Oculistica (1)OMS (1)OpenAI (102)Opera (2)Opera Browser (1)Oracle (1)Orologio (1)Parlamento Europeo (3)Patente di guida (1)Pensieri (1)Pianeta (1)Plugin (1)Polizia (2)Ponti (1)Presentazioni aziendali (2)Privacy (15)Programmazione (4)Prompt (5)Pubblicazione (1)Pubblicità (12)QR Code (1)Realtà mista (2)Relazioni internazionali (2)Relazioni Pubbliche (3)Religione (1)Report (41)Ricerca scientifica (6)Riconoscimento emotivo (1)Risorse online (100)Ristorazione (2)Robotica (23)Salute (2)Samsung (1)Sanità (14)Satelliti (2)Sceneggiatura (1)Semiconduttori (2)SEO (1)Shopping online (1)Sicurezza (14)Sicurezza informatica (22)SMS (1)Snapchat (2)Soccorso (1)Società (1)Software (3)Sport (1)Stable Animation SDK (1)Stable Diffusion (6)Standard (2)Startup (6)streaming live (1)Superintelligenza (1)Sviluppatori (1)Sviluppo sostenibile (1)Taiwan (2)Taxi (1)Telecomunicazioni (2)Telegram (1)Televisione (1)



AI open mind

Insieme per riflettere sull’intelligenza - umana e artificiale - tra studi, esperienze, democrazia e innovazione.

Gli standard invisibili

di Domenico Natale – 5 Agosto 2023 _______ A volte sembra che gli standard sull’Intelligenza Artificiale siano invisibili. In effetti rispetto agli oltre 20.000 standard esistenti...

Azure Quantum: Un salto avanti nella scoperta scientifica

https://www.youtube.com/watch?v=JkQGM5ZuXO4 Microsoft annuncia nuovi progressi per Azure Quantum con l'obiettivo di accelerare la scoperta scientifica. Questi avanzamenti sono rivolti a sfruttare le potenzialità della computazione...

L’Innovazione nell’era dell’IA Generativa

MARTEDI’ 5 SETTEMBRE ORE 14:30/16:00 Roma, 1 settembre 2023 – L’Innovazione nell’era dell’IA Generativa è il titolo del webinar organizzato dall’Osservatorio TuttiMedia e la Commissione Europea il...

Antiriciclaggio per l’arte: a Roma il Workshop

organizzato da Genio Business https://www.youtube.com/watch?v=BCd6l-uDkYc Questo imprescindibile aspetto per il mercato dell’Arte, alla luce delle trasformazioni e delle possibilità tecnologiche e di Intelligenza Artificiale dell’attuale momento...

Iscrizione NEWSLETTER

I dati da Lei forniti non saranno comunicati ad altri soggetti terzi e non saranno trasferiti né in Stati membri dell’Unione Europea né in paesi terzi extra UE.

Visita le sezioni del sito

Link utili

Casi studio, contributi

AI governance: A research agenda, Governance of AI program, Future of Umanity Institute, University of Oxford, Dafoe A., 2017 Artificial intelligence (AI) is a po-tent...

Libri

Ricerche

Piattaforme Corsi Gratuiti

White paper, guidelines