Microsoft rivoluziona la sintesi vocale con VALL-E

Microsoft presenta un nuovo approccio per la sintesi vocale chiamato VALL-E, che utilizza un modello di codec neurale per modellare il linguaggio condizionato invece di una regressione continua del segnale come i modelli precedenti. Qui è possibile sentire e valutare il livello della sperimentazione.

VALL-E è addestrato su 60.000 ore di dati di parlato in inglese, ed è in grado di sintetizzare discorsi personalizzati di alta qualità con soli 3 secondi di registrazione di un oratore invisibile come suggerimento acustico. VALL-E supera il sistema TTS zero-shot all’avanguardia in termini di naturalezza del parlato e somiglianza del parlante e può preservare l’emozione di chi parla e l’ambiente acustico del prompt acustico nella sintesi.

La pipeline di VALL-E è fonema → codice discreto → forma d’onda, consentendo varie applicazioni di sintesi vocale come TTS zero-shot, editing vocale e creazione di contenuti combinati con altri modelli di intelligenza artificiale generativa come GPT-3.

Questi le principali caratteristiche:

  1. Sintesi della diversità: Il modello VALL-E utilizza metodi di generazione di token discreti basati sul campionamento, che gli permettono di sintetizzare diversi campioni vocali personalizzati con semi casuali diversi a partire da un paio di messaggi di testo e di altoparlanti.
  2. Manutenzione Ambiente Acustico: VALL-E è in grado di mantenere l’ambiente acustico del prompt dell’oratore quando sintetizza un discorso personalizzato. L’audio e le trascrizioni utilizzate per questo scopo provengono dal set di dati Fisher.
  3. Mantenimento delle emozioni dell’oratore: Il modello VALL-E è in grado di mantenere l’emozione nel prompt dell’oratore quando sintetizza un discorso personalizzato. I suggerimenti audio utilizzati per questo scopo vengono campionati dal database delle voci emotive.
  4. Più campioni: Per testare il modello VALL-E, sono state selezionate casualmente alcune trascrizioni e segmenti audio di 3 secondi dal set di test di pulizia di LibriSpeech come prompt di testo e relatore, e VALL-E è stato utilizzato per sintetizzare il discorso personalizzato. Si noti che le trascrizioni e i segmenti audio utilizzati provengono da oratori diversi.
  5. Dichiarazione etica: VALL-E ha la capacità di sintetizzare il parlato mantenendo l’identità del parlante, il che potrebbe comportare potenziali rischi nell’uso improprio del modello, come lo spoofing dell’identificazione vocale o l’impersonificazione di un parlante specifico. Gli esperimenti sono stati condotti partendo dal presupposto che l’utente accetti di essere l’oratore target nella sintesi vocale, ma se il modello viene generalizzato a parlanti invisibili nel mondo reale, dovrebbe includere un protocollo per garantire che il parlante approvi l’uso della propria voce e un modello di rilevamento vocale sintetizzato.

Molte preoccupazioni si pongono sia a livello etico e sia sul suo impatto nel modo del lavoro “Il futuro incerto dell’industria del doppiaggio a causa dell’IA generativa

NEWS AIopenmind su:

3D (4)6G (1)Adobe (9)Aeronautica (6)Africa (2)Agenzia viaggi (1)AGI (Intelligenza artificiale generalizzata) (1)Amazon (5)Ambiente (1)Android (1)Animali (6)Animazione (2)Anziani (1)App (1)Apple (14)Archeologia (2)Architettura (3)Armi (2)Arredamento interni (1)Arte (21)Astronomia (2)Audio (20)Autoapprendimento (1)Avatar (2)Aviazione (1)Avvocati (1)Aziende (8)Banca (2)Bard (3)Biblioteca (1)Bill Gates (1)Bing (9)Birra (1)Blockchain (1)Boston Dynamics (1)Calcio (2)Canva (1)Cattolicesimo (3)Certificazioni (1)chataudio (1)Chatbot IA (25)Chip (2)Cina (46)Cinema (2)Clima (2)CNR (1)Coca-Cola (1)Commercio (1)Commissione Europea (1)Compagnie aeree (1)Computer quantistici (24)Computer Vision (2)Comuni italiani (1)Comunicazione (6)Comunicazioni vocali (1)Contabilità (1)Convegno (1)Copyright (4)Cybersecurity (1)Dark web (2)Dating (1)Deepfake (2)Design automobilistico (2)Design Industriale (1)Doppiaggio (1)Drone (1)Droni (1)Editing fotografico (2)Editoria (6)Esercito (2)Etica (89)Europol (1)Eventi (3)Evento (3)Facebook (3)FakeNews (14)Falegnameria (1)Fauna selvatica (1)Finanza (5)Firefly (2)Formazione (2)Fotografia (44)Francia (1)Free lance (1)Gaming (1)Garante privacy (11)Giappone (8)Giochi (2)Giornalismo (10)Giustizia (1)Google (89)Governo (5)Grafica (1)Guerra (8)Guida autonoma (2)Hong Kong (1)IBM (5)Illustrazioni (1)iMessage (1)Immobiliare (1)India (3)Influencer (1)Informazione (2)Inghilterra (1)INPS (1)Intel (1)Istruzione (12)Lavoro (33)Libri (2)Linguistica computazionale (6)Linkedin (2)Maltrattamento infantile (1)Marina (1)Marketing (13)Medicina (15)Meta (15)Metaverso (13)Microsoft (55)Midjourney (10)Mobilità sostenibile (1)Moda (5)Mozilla (2)Musica (12)Nato (1)Natural Language Processing (1)Nazioni Unite (1)NBA (1)NFT (3)Nvidia (7)Occhiali (1)Oculistica (1)OMS (1)OpenAI (92)Opera (2)Orologio (1)Parlamento Europeo (2)Patente di guida (1)Pensieri (1)Pianeta (1)Polizia (2)Ponti (1)Presentazioni aziendali (2)Privacy (15)Programmazione (3)Prompt (5)Pubblicazione (1)Pubblicità (9)Realtà mista (1)Relazioni internazionali (2)Relazioni Pubbliche (3)Religione (1)Report (33)Ricerca scientifica (5)Riconoscimento emotivo (1)Risorse online (76)Ristorazione (2)Robotica (21)Salute (1)Samsung (1)Sanità (12)Satelliti (2)Sceneggiatura (1)Semiconduttori (2)SEO (1)Shopping online (1)Sicurezza (14)Sicurezza informatica (19)SMS (1)Snapchat (2)Soccorso (1)Società (1)Software (3)Sport (1)Stable Animation SDK (1)Stable Diffusion (5)Standard (1)Startup (6)streaming live (1)Superintelligenza (1)Sviluppatori (1)Sviluppo sostenibile (1)Taiwan (2)Taxi (1)Telecomunicazioni (2)Telegram (1)Televisione (1)Tesla (3)TikTok (2)Torah (1)Traduttore AI (1)Truffa (1)Twitter (6)Ucraina (1)Udito (1)UE (6)UNESCO (1)Unione Europea (8)Università (2)Uomo (1)USA (22)



AI open mind

Insieme per riflettere sull’intelligenza - umana e artificiale - tra studi, esperienze, democrazia e innovazione.

Antiriciclaggio per l’arte: a Roma il Workshop

organizzato da Genio Business https://www.youtube.com/watch?v=BCd6l-uDkYc Questo imprescindibile aspetto per il mercato dell’Arte, alla luce delle trasformazioni e delle possibilità tecnologiche e di Intelligenza Artificiale dell’attuale momento...

Iscrizione NEWSLETTER

I dati da Lei forniti non saranno comunicati ad altri soggetti terzi e non saranno trasferiti né in Stati membri dell’Unione Europea né in paesi terzi extra UE.

Visita le sezioni del sito

Link utili

Casi studio, contributi

AI governance: A research agenda, Governance of AI program, Future of Umanity Institute, University of Oxford, Dafoe A., 2017 Artificial intelligence (AI) is a po-tent...

Libri

Ricerche

Piattaforme Corsi Gratuiti

White paper, guidelines