Razvoj sistema za pretvorbo besedil v govor z globokimi nevronskimi mrežami

Avtor: Matevž Bratina

Mentor: izr. prof. dr. Matej Rojc univ. dipl. inž. el.
Stopnja: 2.
Datum: september, 2021
DKUM: MATEVŽ BRATINA

Povzetek

V magistrski nalogi smo razvili sistem pretvorbe besedila v govor PLATTOS za več jezikov. Sistem bazira na osnovi globokih nevronskih mrež. Osnovni cilj naloge je bil razviti in testirati sistem sinteze govora na osnovi globokega učenja, ki bo čim bolje generiral govor v več jezikih, pri čemer je tudi pomemben čas generiranja. Prvi del naloge tako predstavlja pregled tehnologij sistemov sinteze govora in njihova podrobnejša analiza. Zanimala nas je namreč arhitektura sistema sinteze govora, medsebojna primerjava zmogljivosti sistemov, njihov razvoj in kvaliteta sintetiziranega signala, ki ga določen TTS lahko generira. Sledila je izbira tehnologije globokega učenja, in razvoj novega TTS sistema. Izbrali smo tisto, ki je izkazovala največji potencial, da izpolni vse zastavljene cilje. Sledil je razvoj TTS sistema. Za prvo stopnjo (pretvorba vhodnega besedila v spektrogram) smo izbrali Tacotron globoki model. Ta je namenjen pretvorbi spektrogramov v pripadajoči govorni signal. V drugi stopnji, smo izbrali vokoder Waveglow. Pred izbiro komponent sistema, smo različne tipe vokoderjev in rekonstrukcijskih algoritmov tudi testirali. Sistem TTS na osnovi globokih nevronskih mrež PLATTOS smo testirali na različnih prosto dostopnih bazah govornih podatkov večih jezikov. Ocenjevali in primerjali smo tudi kvaliteto sinteze govora različnih arhitektur z globokimi nevronskimi mrežami. Kot kriterij kvalitete sinteze govora, smo bili predvsem pozorni na naravnost in razumljivost sintetiziranega govora. Pri ocenjevanju kvalitete smo tako uporabili subjektivne MUSHRA teste.

Sinteza govora …

Strojno učenje in z njim nevronske mreže v zadnjih letih doživlja velik razcvet. Ocenjevanje zaupanja v nevronskih mrežah je pristop, s katerimi pridobimo iz globoke nevronske mreže informacijo o gotovosti razpoznave ali zaznave. S to dodatno informacijo lahko izboljšamo uspešnost modela na način, da izločimo iz končne množice izhodov tiste z nizko stopnjo gotovosti. Sistemi sinteze govora omogočajo generiranje človeškega govora s pomočjo računalniškega sistema. Takšen računalniški sistem se zato imenuje tudi sintetizator govora. Pristopi sinteze govora spadajo v eno izmed osrednjih področij raziskav v zadnjih več kot 50 letih. Eden izmed temeljnih ciljev sistemov sinteze govora je zgraditi takšen sistem, ki bi posnemal oziroma celo prekosil sposobnost ljudi pri generiranju govora. Kakovost sintetizatorja govora se ocenjuje glede na naravnost generiranega govora in njegovo razumljivostjo. Konstanten napredek na področju prepoznavanja ter razumevanja govora s strani računalniških sistemov, je omogočil njihovo uporabo tudi v realnem življenju. Izmed govornih tehnologij, predstavlja ravno napredek na področju sinteze govora enega izmed večjih izzivov.

Globoko učenje in arhitekture nevronskih mrež v sistemih za sintezo govora

Sistemi sinteze govora zajemajo številne raziskovalne izzive na različnih področjih. Nekatera izmed teh so npr. akustika, jezikoslovje, digitalna obdelava signalov, statistika itd. Cilj sistemov sinteze je pretvoriti vhodna besedila v naravni govor. Skozi čas so se tehnologije uporabljene za sintezo govora, z vidika kvalitete generiranja naravnega in razumljivega govora občutno razvile in izboljšale. Kljub napredku pa je potrebno še veliko dela, da bo stopnja razumljivosti, naravnosti in možnosti generiranja govora dejansko v vseh pogledih takšno, kakršnega smo sposobni generirati ljudje. Eno izmed glavnih omejitev obstoječih metod generiranja govora predstavljajo t.i. plitvi (angl. shallow) modeli. Ti sicer dosegajo dobre rezultate pri podatkih z manj zapletenimi notranjimi strukturami. Pri delu s podatki, katerih notranje strukture pa so dosti bolj zapletene: govor, naravni jezik, slika, video itd., pa je zmogljivost teh modelov precej omejena. Rešitev je prinesla uporaba globokega učenja. Modeli globokega učenja so namreč sposobni zelo učinkovito zajeti kompleksne notranje strukture podatkov, jih tudi opisati oziroma karakterizirati. Posledično so razlog velikega napredka na številnih področjih, kot so prepoznavanje rokopisa, strojno prevajanje, prepoznavanje govora in sinteza govora. Ena izmed temeljnih prednosti sistemov sinteze govora na osnovi globokega učenja, predstavlja ravno visoka kvaliteta generiranega govora. Slabost teh sistemov pa se najbolj izkazuje v računski/procesorski zahtevnosti učenja modelov in potrebni količini učnega materiala. V nadaljevanju sledi podrobnejša predstavitev sistemov sinteze govora, ki temeljijo na globokem učenju
.

Eksperimentalno okolje

Razvoj sistema TTS PLATTOS na osnovi globokih modelov, smo izvajali v splošno-namenskem, visoko-nivojskem in interpreterskem programskem jeziku Python. Poleg programskega jezika Python, smo pri razvoju uporabili tudi različna ogrodja za učinkovito globoko učenje. Ogrodja globokega učenja namreč že vključujejo gradnike za načrtovanje, učenje in validiranje globokih nevronskih mrež. TensorFlow tako predstavlja ogrodje in vmesnik tudi za izvajanje algoritmov strojnega globokega učenja. Sistem je prilagodljiv in se lahko uporablja za izvajanje najrazličnejših algoritmov. Keras je lahko uporabljen kot visoko-nivojski API za delo z različnimi arhitekturami nevronskih mrež, pri čemer se tudi uporablja jezik Python. Razvit je bil za hitrejše prototipiranje in eksperimentiranje na področju globokega učenja. PyTorch je prav tako odprto-kodna knjižnica za strojno globoko učenje, ki temelji na knjižnici Torch in se uporablja tudi za aplikacije, kot so računalniški vid in obdelava naravnega jezika. Kot Keras se tudi uporablja za hitrejše prototipiranje nevronskih mrež. Theano je tudi ogrodje za delo z nevronskimi mrežami, pri čemer se uporablja prav tako Python jezik. Omogoča učinkovito definiranje, optimizacijo, in oceno matematičnih izrazov, kot tudi izvajanje algoritmov strojnega globokega učenja. Ogrodja podpirajo učinkovito izvajanje tako na CPU kot GPU arhitekturah. Pri našem delu smo uporabljlali Tensorflow in Pytorch.

Rezultati

Teste na danih sistemih TTS smo izvedli za različne jezike. Za ocenjevanje uspešnosti TTS sistemov, se najpogosteje uporablja sicer 3 različne teste: MOS, AB primerjalni test, in MUSHRA (Multiple Stimuli with Hidden Reference and Anchor) test. MUSHRA je test s skritimi referencami in sidrom. Uporablja se za izvedbo testov poslušanja za oceno kakovosti izhoda algoritmov kompresije zvoka z izgubo. Glavna prednost pred testi MOS je ta, da MUSHRA potrebuje manj udeležencev, da se pridobi statistično relevantne rezultate. Vsi posnetki različnih sistemov so namreč predstavljeni hkrati. MUSHRA test uporablja ocene od 1-100, kar tudi omogoča natančnejšo podajanje rezultatov.