Avtor: Karlo Crnek
Mentor: Matej Rojc
Somentor: Izidor Mlakar
Stopnja: Študijski program 2. stopnje Elektrotehnika, Smer elektronika
Datum: September, 2019
DKUM: KARLO CRNEK
Problem, ki ga obravnavamo v magistrski nalogi je detektiranje voznih pasov na RGB slikah oz. posnetkih ceste pred vozilom med vožnjo. Za rešitev tega problema smo se odločili uporabiti tehnike »globokega učenja«, predvsem konvolucijske nevronske mreže, s katerimi smo izvedli semantično segmentiranje. Problem smo reševali s tremi različnimi arhitekturami nevronskih mrež, ki smo jih učili na naboru podatkov BDD100k. Modele mrež smo nato testirali in primerjali rezultate s pomočjo IoU metrike za semantično segmentacijo. Opravili smo tudi več eksperimentov s ciljem izboljšanja IoU vrednosti in generalizacije modelov. Na koncu smo modele testirali tudi na Nvidia Jetson TX2 platformi in predlagali možnost vključitve takšnih modelov v sistem avtonomnega vozila.
V magistrskem delu smo celovito predstavili kako lahko uporabimo konvolucijske nevronske mreže CNN za semantično segmentacijo, in sicer na problemu detektiranja voznega pasu za avtonomna vozila. Predstavljena naloga je tudi dobro izhodišče za nadaljnje delo glede načrtovanja namenskih arhitektur za detektiranje voznega pasu. V nalogi so predstavljene tudi možnosti integracije predlagane rešitvi na vgrajenih platformah avtonomnih vozil. Rezultati segmentacije so pokazali zelo dobro uspešnost celo v zelo zahtevnih pogojih v okolju, kot so npr. posnetki nočne vožnje in pri različnih vremenskih pogojih. Seveda segmentacija v vseh primerih ne poda zadovoljujočih rezultatov, vseeno pa predstavlja dobro osnovo za izgradnjo kompleksnega modula percepcije in integracijo z drugimi senzorji na avtonomnem vozilu. Delo v prihodnje bi v tem kontekstu lahko zajemalo dodatne korake procesiranja, kot npr. izločanje narobe segmentiranih pikslov v izoliranem območju, uporaba časovne konzistentnosti med zaporedni video okvirji s ciljem ustvarjanja bolj robustnih rezultatov itd.
Raziskave v nalogi so bile usmerjene tudi v izboljševanju rezultata izbrane metrike – IoU, saj smo opazili, da je zelo težko objektivno primerjati rezultate modelov in na osnovi njih sklepati, katerega bi bilo najbolje uporabljati pri avtonomni vožnji. V prihodnje bi bilo potrebno bodisi razviti novo metriko za primerjanje, ki bi bila bolj reprezentativna glede uporabe modelov za avtonomno vožnjo, ali pa najprej testirati modele na simulatorju za avtonomno vožnjo, in jih potem uporabiti še na realni platformi.
Glede pristopa učenja modelov smo testirali tudi različne algoritme za optimizacijo, regularizacijo, in različne stopnje učenja. Seveda je idealna konfiguracija modela odvisna tudi od mnogo drugih parametrov. Težave so se pojavile pri uporabi TensorRT orodja, ki služi za optimizacijo modelov in za posledično hitrejši sklepni čas. Kljub temu smo uspeli zgraditi modele, ki bi odvisno od hitrosti kamere lahko zadostili specifikaciji »delovanja v realnem času«. V našem primeru so modeli U-Net in ENet izvajali segmentacijo voznih pasov na Nvidia Jetson TX2 platformi med 14 fps in 18 fps. V prihodnosti nameravamo izvesti optimizacijo takšnih modelov za doseganje hitrejšega sklepnega časa in tudi bolj enostavno uporabo. To je tudi zelo aktivno področje raziskav, saj je cilj uporabiti modele globokega učenja tudi na manj zmogljivih napravah kot so npr. mobilni telefoni ali celo mikrokrmilniki. Tudi je smiselno omeniti, da uporaba modelov za delovanje v realnem času ni odvisna le od sklepnega časa modela, ampak tudi od procesiranja pred in po sklepanju modela. Npr. v našem primeru je bilo potrebo zmanjšati dimenzije vhodne RGB slike na dimenzijo 256×256. Če je potrebno po sklepanju pretvoriti rezultate segmentacije nazaj na originalno dimenzijo, ustrezni postopki obdelave za to potrebujejo čas. Zato je potrebno pogosto iskati kompromis med izhodno sliko iz kamere, in vhodno sliko v sam model.
V nalogi smo uporabili nabor podatkov BDD100k, ki je zelo raznovrsten nabor podatkov in se lahko uporabi za različne naloge percepcije v avtonomni vožnji. Ena izmed možnosti, ki jih nismo obravnavali v nalogi je prenos znanja (angl. transfer learning). Ker smo ugotovili, da je težko učiti modele z večjim številom podatkov na uporabljeni GPU platformi (v našem primeru 70 tisoč slik), bi namreč lahko bilo koristno uporabiti že naučen model za kakšno podobno nalogo, in potem samo doučiti model na naših podatkih. Na koncu smo uporabili 21 tisoč slik za učenje U-Net modela in predstavili tudi rezultate.
.
Projektna skupina
