Microsofts præsenterer denne måned et spritnyt AI-værktøj til automatisk generering af tale.
Værktøjet, døbt VALL-E, er blot i stand til effektivt at simulere tale, men kan også hurtigt trænes til at efterligne stemmer, skriver netmediet Ars Technica.
Det kræver blot et stemmeklip på tre sekunder, før VALL-E kan generere et lydklip, hvor stemmen kan fås til at sige hvad det skal være.
Udviklerne bag VALL-E ser mange anvendelsesmuligheder for det nye AI-værktøj, hvor der blandt andet vil kunne redigeres i lydoptagelser af personer ud fra et script, hvilket i praksis betyder at personer kan få deres lydklip efterbehandlet til at ytre vilkårlige ting.
VALL-E markerer sig samtidig ved at kunne genskabe tonefald og humøret fra taleren, mens det omgivelserne lydkulisse kan gengives.
Programmet vises frem på en GitHub demoside, hvor adskillige lydklip kan aflyttes her.
Her anerkender udviklerne bag værktøjet også potentialet for misbrug af teknologien, til at fabrikere falske udsagn fra udvalgte personer. Her understreges det, at hvis modellen skal udbredes til den brede offentlighed vil det skulle akkompagneres af en protokol til at sikre, at eventuel manipulation og talesyntese sker med indtalerens accept.
Af samme grund har Microsoft valgt ikke at gøre værktøjet bredt tilgængeligt.
Bryder tale ned i små bidder
VALL-E er ifølge Microsoft et såkaldt ’neural sprog-codec model’ som er en overbygning på en teknologi kaldet EnCodec, som Meta præsenterede i oktober 2022.
Modellerne fungerer ved at generere stemmer ud fra specifikke tekst og akustiske brudstykker, fremfor at bero på traditionel stemmesyntese.
VALL-E nedbryder altså stemme-input til brudstykker, kaldet ’tokens’, hvor bare tre sekunders klip er nok til at definere en talers stemmeklang, som derefter sammenkøres med en stemmesyntese-model, for at generere stemmeefterligningerne.
Microsofts AI-værktøj er ligesom Metas EnCodec trænet med LibriLight databasen som inkluderer over 60.000 timers engelsk tale indtalt af over 7.000 mennesker.