Ocenjevanje zaupanja v globokih nevronskih mrežah
Avtor: Daniel Hari
Mentor: izr. prof. dr. Matej Rojc univ. dipl. inž. el.
Somentor: Danilo Zimšek, univ. dipl. inž. tel.
Stopnja: 2.
Datum: september, 2020
DKUM: DANIEL HARI
V magistrski nalogi so predstavljeni pristopi ocenjevanja zaupanja v globokih nevronskih mrežah na primeru razpoznave števk.
V nalogi se osredotočimo predvsem na dva pristopa, in sicer z Bayesovim učenjem in vzorčenjem z izpustnimi sloji. Bayesovo učenje je matematično bolj zahteven postopek saj deluje tako, da vsak vhodni podatek v nevronsko mrežo obravnavamo kot porazdelitev verjetnosti in ne kot deterministično določeno vrednost. Pri tehniki vzorčenja z izpustnimi sloji je za vsakim skritim slojem mreže dodan stohastični izpustni sloj, tako da lahko na izhod iz modela gledamo kot na naključen vzorec, ki je ustvarjen iz aposteriorne porazdelitve. Takšen postopek je sicer računsko manj zahteven, daje pa podoben rezultat.
Ocenjevanje zaupanja v nevronskih mrežah je pristop, s katerimi pridobimo iz globoke nevronske mreže informacijo o gotovosti razpoznave ali zaznave.
Strojno učenje in z njim nevronske mreže v zadnjih letih doživlja velik razcvet. Ocenjevanje zaupanja v nevronskih mrežah je pristop, s katerimi pridobimo iz globoke nevronske mreže informacijo o gotovosti razpoznave ali zaznave. S to dodatno informacijo lahko izboljšamo uspešnost modela na način, da izločimo iz končne množice izhodov tiste z nizko stopnjo gotovosti.
Inteligenca je sposobost unčikovitega reševanja problemov na kreativen način, ki ni vnaprej programiran oz. je sposobnost osvajanja znanja in prilagajanja načina reševanja problemov, ki je opažen pri drugih, za svoje lastne potrebe. Inteligenco določa sposobnost prilagajanja spremenjenim okoliščinam, sposobnost pomnjenja znanja in njegove uporabe, sposobnost sklepanja in abstraktnega razmišljanja, sposobnost učenja in doumevanja, razmišljanja, sposobnost ovrednotenja in presoje/odločanja, sposobnost tvorjenja izvirnih in ustvarjalnih misli. Inteligentno obnašanje naj bi vključevalo naslednje značilnosti: zaznavanje okolja, delovanje v zahtevnih okoljih, učenje in razumevanje iz primerov, sklepanje za reševanje problemov, pridobivanje skritega znanja s sklepanjem, uporabo znanja v novih okoliščinah, komunikacijo z drugimi in razumevanje jezikov, kreativnost , izvirnost in radovednost.
Metode ugotavljanja gotovosti nevronske mreže
Poznamo dve metodi ugotavljanja gotovosti rezultata NN in sicer postopek z Bayesovim učenjem in postopek z izpustnimi sloji, ki ima sicer več izpeljank. Kot smo že omenili je postopek vzorčenja z izpustnimi sloji računsko manj zahteven, prinaša pa podoben rezultat kot postopek z Bayesovim učenjem. Bayesov pogled na statistiko uporablja pristop, pri katerem neznane parametre obravnavamo kot naključne spremenljivke in želimo, da se skozi pristop model nauči parametrov porazdelitve spremelnjivk. Porazdelitev je odvisna od tega, kar se lahko opazi v podatkih na katerih se uči. Med postopkom učenja Bayesove nevronske mreže, se neznane uteži modela prilagajajo na podlagi tega, kar vemo ali kar lahko opazujemo. To je problem obratne verjetnosti in ga rešujemo z uporabo Bayesovega teorema. NN gradniki so sestavljeni iz enega vhodnega sloja, enega ali več skritih slojev, in izhodnega sloja. Ko učimo nevronsko mrežo ali model s posodabljanjem uteži, lahko postane mreža tudi preveč odvisna od nabora podatkov, ki ga uporabljamo pri učenju. Ko mora potem model napovedati ali razvrstiti nevidene podatke, ne bo dal zadovoljivih rezultatov. To je znano kot pretirano prileganje. Za odpravljanje te težave uporabljamo tehniko, ki jo je leta 2012 uvedel Geoffrey Hinton. Ta tehnika je znana kot postopek izpustnih slojev. V naših postopkih uporabljamo izpustne sloje za vzorčenje, se pa pogosto ta tehnika uporablja tudi za odpravljanje pretiranega prileganja.
Eksperimentalno okolje
Jupyter Notebook je odprtokodna spletna aplikacija, ki jo lahko uporabimo za kreiranje in skupno rabo različnih dokumentov. V Jupyter Notebook lahko tako vnašamo besedila, programsko kodo, sliko itd. Jedro je IPython, ki nam omogoča pisanje programov v programskem jeziku Python. Keras je visoko nivojski vmesnik za programiranje aplikacij za TensorFlow 2.0, in visoko produktiven vmesnik za reševanje težav s strojnim učenjem s poudarkom na sodobnem globokem učenju. Vključuje pomembne abstrakcije in gradnike za razvoj in pošiljanje rešitev za strojno učenje z veliko hitrostjo iteracije. Razširljivost in zmogljivost ogrodja TensorFlow 2.0 se da tako prenesti na več platform in sicer: Keras lahko zaženete na TPU, ali na velikih grozdih GPU, modele Keras lahko izvozimo tudi za poganjanje v brskalniku ali na mobilnem telefonu. Keras vsebuje številne realizacije najpogosteje uporabljenih gradnikov blokov nevronske mreže, kot so sloji, cilji, aktivacijske funkcije, orodje za optimizacijo in veliko orodij za lažje delo s slikovnimi in besedilnimi podatki za poenostavitev kodiranja, potrebnega za pisanje programske kode za globoke nevronske mreže. Poleg standardnih nevronskih mrež, ima Keras podporo tudi za konvolucijske in nevronske mreže s povratno zanko. Podpira tudi druge splošne uporabe slojev, kot so tehnike z izpustnimi sloji, normalizacija paketa in združevanje.
Postopek z Bayesovim učenjem
V modelu smo najprej uporabili fukcijo konvolucijske mreže (angl. Conv2D), katera nad vhodnimi podatki izvedla konvolucijo. To smo ponovili dvakrat. Potem smo uporabili funkcijo združevanja MaxPooling2D, ki se uporabi za zmanjšanje števila bozlišč. Po tej funkciji uporabimo še funkcijo izpustnih slojev. V tem primeru smo jo uporabili za zmajjšanje problema pretiranega prilagajanja. Funkcija sploščanja nam je poravnala vhode. Potem smo uporabili funkcijo zgostitve in še enkrat funkcijo izpustnih slojev. Funkcija zgostitve je povezana z notranjim slojem oz. globokim učenjem, in je najbolj pogosta uporabljena funckija, poleg izpustnih slojev. Prikazan model smo uporabili pri vseh postopkih v eksperimentalnem delu naloge.
Postopki vzorčenja z izpustnimi sloji
Model je podoben tistemu pri postopku z Bayesovim učenjem. Po dvakrat ponovljenem konvolucijskem sloju in sloju združevanja dodamo izpustne sloje. Uporabili smo ga za vzorčenje in je vključen tudi v fazi učenja. Funkcija sploščanja poravnala vhode. Potem uporabimo funkcijo zgostitve, in še enkrat funkcijo izpustnih slojev. Funkcija zgostitve je povezana z notranjim slojem oz. globokim učenjem in je najbolj pogosta uporabljena funckija, polek izpustnih slojev.
Rezultati
Osredotočili smo se na postopke ocenjevanja verjetnosti razpoznave števk in s pomočjo rezultatov poistopkov izboljšali natačnost razpoznav. Pri katerem smo predstavili več načinov. Ugotovili smo, da je Bayesev postopek računsko zelo zahteven, kar se je tudi opazilo pri eksperimentalnem delu v času procesiranja oz. razpoznavi. Pri postopku z izpustnimi sloji smo opazili podobne rezultate, je pa bil postopek učenja hitrejši. Ugotovili smo tudi, da postopek Monte Carlo lahko interpretiramo kot Bayesev pristop, saj temelji na porazdelitvi verjetnosti. Ko smo primerjali pristope med seboj smo ugotovili, da se postopki dokaj malo razlikujejo, kar se tiče točnosti. Ponavadi dosežejo vsi natančnost nad 90%, kar je zelo dobro. Imeli smo tudi postopek razpoznave števk z verjetnostin strojnim učenjem s konvolucijskimi nevronskimi mrežami, ki je celo presegel zmožnost človekove razpoznave, katera je ponavadi med 97.5% in 98%.
Diskusija in rezultati
