Avtor: Mario Gavran
Mentor: izr. prof. dr. Matej Rojc
Program: Študijski program 2. stopnje Elektrotehnika, Smer elektronika
Datum: julij, 2022
DKUM: MARIO GAVRAN
Povzetek
V magistrskem delu je predstavljen napreden video sistem z zaznavanjem prisotnosti človeka, ki temelji na globokem učenju in mikrokrmilniku ARM. Cilj diplomske naloge je razviti sistem, ki deluje kot pametni video domofon, ki bi ga lahko vgradili npr. na vhodnih vratih in lastnika samodejno opozoril, da je pred vrati oseba. Glavni cilj je uporaba algoritma AI, in sicer modela nevronske mreže na omejeni napravi, kot je mikrokrmilnik ARM na robu, saj je njihova glavna prednost manjša poraba energije in cena. V nalogi so predstavljene pogosto uporabljene metode za zmanjšanje porabe moči in pomnilnika, ter za učinkovitejšo implementacijo in pospešitev algoritmov globokega učenja na omejenih napravah. Poleg tega so podrobneje opisane najpomembnejše strojne opreme za globoko učenje in nekatere splošne platforme. To delo predstavlja tako razvoj sistema z zaznavanjem prisotnosti oseb, ki temelji na mikrokrmilniku ARM, VGA kameri in LCD-ju. Pri tem uporabimo tudi TensorFlow Lite Micro, odprtokodno ogrodje C++ za uporabo modelov globokega učenja na vgrajenih platformah.
AI na robu
Danes je v splošnem znano, da aplikacije AI zahtevajo veliko procesorske moči in energije. Računalnik AlphaGo je na primer uporablja skoraj 2000 CPU-jev in 300 GPU-jev, kar predstavlja 3000 USD stroškov na igro. Poleg tega postajajo v prizadevanju za doseganje boljše natančnosti in zmogljivosti modeli globokega učenja večji in zahtevnejši. Na primer, model na ImageNet Recognition Challenge za prepoznavanje slik leta 2015 je bil 16-krat večji od tiste iz leta 2012, model za prepoznavanje govora pa je zahteval desetkrat več učenja kot tisti iz leta 2014. Ta dejstva spodbujajo naložbe v razvoj učinkovitih metod za zmanjševanje ogromnih zahtev tudi po uporabi pomnilnika, povečanje učinkovitosti in procesorske zahtevnosti postopka sklepanja, ter uporabo strojnega učenja (ML) tudi na najmanjših strojnih napravah. Nekatera poročila o tržnih raziskavah napovedujejo, da bo obseg svetovnega trga programske opreme za umetno inteligenco predvidoma dosegel stotine milijonov USD do četrtine tega stoletja. To hitro rast pripisujejo predvsem omrežju 5G. Številna poročila tudi napovedujejo, da bo imel segment videonadzora največji trg skupaj s segmentom avtonomnih vozil, upravljanja dostopa itd. To delo predstavlja koncept in podroben pregled možnosti uporabe umetne inteligence in strojnega učenja na robu. Predstavljene so tudi nekatere uporabne in priljubljene metode, razpoložljiva strojna in programska infrastruktura za omogočanje uporabe teh tehnologij v okolju vgrajenih sistemov z večjimi omejitvami. Nato je predstavljen tudi razvoj zaznavanja prisotnosti ljudi. V industriji ML obstajajo štiri osnovne kategorije potreb. Prva med njimi je tista, kjer ni nujno, da je rešitev poceni in se potrebuje samo visoko zmogljivo procesiranje, ki se uporablja za učenje velikih modelov, potrebnih za raziskave na področju AI. Druga vrsta potreb je učenje že razpoložljivih sistemov in modelov z novimi podatki ali dodajanje novih funkcij ali objektov, ki jih je na primer potrebno prepoznati v danih sistemih za prepoznavanje slik. Tu potrebujemo manj energije in virov, uporablja se lahko nižjo natančnost aritmetike in je rešitev cenejša. Tretja kategorija je izvajanje ML na močnih strežnikih v podatkovnih centrih, ki se uporabljajo. V tem primeru sta glavni slabosti poraba energije in zakasnitev, saj trend kaže, da hitro narašča število storitev, ki uporabljajo takšne tehnologije, in vedno večje število uporabnikov, ki jih uporabljajo. Zadnja kategorija so vgrajene naprave, avtomobili, telefoni, pametni fotoaparati itd. Vse te robne naprave imajo na voljo manj razpoložljive moči, imajo manjše pomnilniške zmogljivosti in imajo običajno optimizirano aritmetiko.
Tensorflow Lite Micro
Vgrajene platforme zaradi velike raznolikosti in razdrobljenosti med različnimi razvijalci strojne opreme praviloma nimajo možnosti v doseganju najboljših rezultatov na področju tehnologije AI, saj imajo zaradi svojih drugih prednosti veliko omejitev za sam razvoj. Za razliko od splošnih računalniških platform, ki imajo poenoteno, povratno združljivo in standardizirano ISA vodilo, navidezni pomnilnik, operacijski sistem in druge prednosti, vgrajene platforme tega nimajo, zaradi zelo specifične narave njihovih aplikacij in njihove tesne povezave z arhitekturo strojne opreme z malo pomnilnika in procesorske zmogljivosti. Skoraj vsa programska oprema, ki se izvaja na vgrajenih sistemih, je prevedena iz izvorne kode; posledično je manj poenotenja in navzkrižne združljivosti, kar rezultira v pogosto zaprtih ekosistemih. TensorFlow Lite (TFL) je nabor orodij, ki omogoča ML na napravi za mobilne naprave, medtem ko je TFLM namenjen uporabi za 32-bitne procesorje, in sicer MCU. Preizkušen je na različnih procesorjih, predvsem na arhitekturi ARM Cortex-M, pa tudi na drugih priljubljenih platformah, kot so ESP32, ARC in RISCV. Napisan je v C++ in namenjen uporabi kot knjižnica, vključena v projekt aplikacije in prevedena s preostalim delom aplikacije, za razliko od nekaterih drugih orodij, kot je GLOW AOT, ki je prevajalnik, ki generira objektne datoteke, ki jih je mogoče nato uporabiti dinamično ali statično v projektu.
Sistem Video Intercom z zaznavanjem oseb
Domofonski sistemi so že desetletja del opreme nepremičnin, od domov in pisarn do industrijskih objektov in katere koli druge lastnine, ki potrebuje upravljan dostop ljudi v prostore, in lastnikom pomagajo izboljšati varnost in poenostavljen dostop do lastnine. Običajni domofonski sistemi omogočajo dvosmerno komunikacijo med lastnikom in obiskovalcem, ter lastniku omogočijo dostop z odpiranjem vrat na daljavo. Če pogledamo v zgodovino lahko ugotovimo, da je bil prvi domofonski sistem na osnovi telefona patentiran že leta 1894. Naprednejši in dražji sistemi vključujejo prepoznavanje obraza in avtentikacijo, ter omogočajo nadzor dostopa brez dotika. Čeprav je na voljo že veliko pametnih domofonov, pa je še vedno prostor za nove izzive in izboljšave. Večina teh naprav uporablja večjedrne aplikacijske procesorje, ki zahtevajo bolj zapleteno zasnovo in povečujejo porabo energije. Pogosto potrebujejo tudi internetno povezavo.
Interpolacija signalov anizotropnih magnetnih senzorjev v integriranem vezju...
