Akustična segmentacija z uporabo nevronskih mrež

V projektni nalogi je predstavljen postopek akustične segmentacije z uporabo nevronskih mrež na primeru glasbenih inštrumentov. S predprocesiranjem in pripravo podatkov za učenje mreže smo dosegli točnost 95%. Program smo napisali v jeziku Python in izvajali v okolju Keras. V projektu nas sicer zanima razpoznavanje različnih vrst zvokov v video posnetku, oziroma v pripadajočem avdio posnetku. Prepoznavanje specifičnih zvokov je težavno, zato smo se omejil na zvočne posnetke brez prisotnosti šuma. Posnetki so nastali s snemanjem različnih inštrumentov, ki jih mora program za akustično segmentacijo prepoznati. V nalogi smo se osredotočil tudi na načrtovanje, izdelavo in analizo nevronske mreže, ki je služila za izvajanje akustične segmentacije. Sistem akustične segmentacije mora namreč v avdio posnetkih označiti zvočne segmente tako, da vsak zajema samo specifični zvok. 

 

V projektu smo najprej uporabili program za pred-procesiranje akustičnega signala, ki v posnetku odstrani tišino, ker to v nadaljevanju pripomore k hitrejšemu učenju mreže. Pri predprocesiranju je potrebno tudi vedeti, kakšne podatke bomo uporabljali. Za pripravo podatkov smo uporabili več različnih postopkov. Če pogledamo signal v časovni domeni, signal vizualno ne sporoča nič posebnega, se pa to spremeni, če avdio posnetek prikažemo v drugi obliki, oz. če uporabimo Fourierjevo transformacijo, oz. hitro fourierjevo transformacijo (angl. fast-fourier transform – FFT). Spektrogram je vizualna predstavitev frekvenčnega spektra avdio signala, v odvisnosti od časa. Spektrogram lahko generiramo z uporabo optičnega spektrometra, serije pasovno-prepustnih filtrov, ali z uporabo fourierjeve transformacije. Spektrogram je v projektu pomemben za predstavitev posnetkov, ki jih uporabljamo pri učenju CNN nevronske mreže.