TryOnDiffusion è un approccio innovativo per la prova virtuale di abbigliamento che unisce due reti neurali chiamate UNet. L’obiettivo principale è generare una visualizzazione realistica di come un capo d’abbigliamento potrebbe apparire su una persona diversa da quella che lo indossa nell’immagine di partenza.
Una delle sfide principali affrontate da TryOnDiffusion è la sintesi di una visualizzazione dettagliata e fotorealistica del capo d’abbigliamento, considerando le variazioni di posa e di forma del corpo tra i soggetti coinvolti. I metodi precedenti si sono concentrati sulla preservazione dei dettagli dell’indumento senza tener conto delle variazioni di posa e forma, o sulla possibilità di provare un capo con la forma e la posa desiderate ma senza considerare i dettagli dell’indumento. TryOnDiffusion supera queste limitazioni unificando due reti UNet in una sola architettura.
Parallel-UNet, l’architettura proposta, presenta diverse caratteristiche chiave. Innanzitutto, l’indumento viene deformato in modo implicito attraverso un meccanismo di attenzione incrociata. Inoltre, il deformamento dell’indumento e la fusione con la persona avvengono come parte di un processo unificato, evitando di trattare questi compiti come attività separate.
TryOnDiffusion è stato valutato sperimentalmente e ha dimostrato prestazioni di prim’ordine sia dal punto di vista qualitativo che quantitativo. Tuttavia, ci sono alcune limitazioni da considerare. Ad esempio, potrebbero verificarsi artefatti di “garment leaking” in caso di errori nella segmentazione e nella stima della posa durante la fase di preprocessing. Inoltre, l’utilizzo di immagini “clothing-agnostic RGB” potrebbe non preservare completamente l’identità della persona, come i dettagli dei tatuaggi o la struttura muscolare specifica. Inoltre, il metodo è stato testato principalmente con sfondi uniformi, quindi è sconosciuto come si comporterebbe con sfondi più complessi. Infine, al momento l’attenzione si concentra sulla visualizzazione del capo d’abbigliamento per l’area del busto, mentre la prova virtuale per l’intero corpo è un ambito di ricerca futuro.
TryOnDiffusion rappresenta un notevole progresso nella prova virtuale di abbigliamento, offrendo una soluzione che integra dettagli dell’indumento e deformazioni per adattarsi alle diverse pose e forme del corpo.
