Avtor: Žiga Pustoslemšek
Mentor: Matej Rojc
Somentor: Izidor Mlakar
Stopnja: Visokošolski strokovni študijski program Elektrotehnika, Smer elektronika
Datum: September, 2019
DKUM: ŽIGA PUSTOSLEMŠEK
V diplomski nalogi predstavljamo razvoj dveh neodvisnih aplikacij, ki za prepoznavo obrazov uporabljata storitev Microsoft Azure Face. Prva aplikacija je namenjena za upravljanje z uporabniki, ki jih želimo vključiti v sistem prepoznave. Drugo aplikacijo pa smo razvili za proces prepoznavanja oseb v IoT okolju. V nalogi so predstavljene metode za detekcijo in prepoznavo obrazov, ter tehnologije uporabljene za razvoj sistema in obeh aplikacij.
Cilj diplomske naloge je razviti celovit sistem za detekcijo in prepoznavo obrazov oseb v IoT okoljih. V predlagani zasnovi rešitve sledimo modularnosti in paradigmi porazdeljenega procesiranja. Ključni, sistemsko odvisni in procesorsko zahtevni elementi, npr. procesiranje slike, detekcije in razpoznave obrazov, se izvajajo oddaljeno, na oblačni platformi Microsoft Azure (Azure Face API). V lokalnem okolju (t.i. okolju na robu) pa se izvajajo procesorsko manj zahtevni servisi, npr. zajem slike, RESTFUL komunikacija med komponentami na robu in oblaku z izvedbo ustreznih programskih vmesnikov, t.i. API-jev (Aplikacija za razpoznavo oseb). V okviru celovite rešitve smo postavili spletno aplikacijo za upravljanje z uporabniki, ki prav tako neposredno komunicira z oblačno platformo Microsoft Azure preko RESTFUL komunikacije in pripadajočih API-jev. Aplikacija je sestavljena iz dveh modulov: modula za registracijo in upravljanje z uporabniki, ter modula za dodajanje novih obrazov »registriranih« uporabnikov. Celovit sistem detekcije in prepoznave obrazov bomo povezali še s platformo Home Asistent. V okviru laboratorija za digitalno procesiranje signalov, platforma Home Asistent predstavlja osrednjo točko IoT okolja.
Celoten postopek prepoznave razdelimo na več procesov. Za uspešno prepoznavo osebe se morajo izvesti procesi v sistemu v naslednjem zaporedju: zajem slike s kamere, detekcija, prepoznava, pridobitev ustreznih podatkov oseb, in posredovanje le-teh na platformo Home Assistant.
V prvem procesu pridobimo sliko z IP kamere. S kamero se povezujemo z uporabo python paketa CV2. Za povezovanje je potrebno predhodno nastaviti IP naslove, uporabniško ime, in geslo. Ko je ta korak storjen, se sistem lahko poveže s kamero in zajema video signal. Zajeti video signal je sicer sestavljen iz mnogih slik, oz. okoli 30 slik na sekundo. Samo eno od slik nato uporabimo v naslednjem procesu, ki je namenjen detekciji obrazov.
Nadalje moramo izvesti detekcijo obraza na zajeti sliki. Sliko je zato potrebno prekodirati v binarno obliko. V takšni obliki pa jo potem posredujemo na oblačno platformo Azure, kjer uporabimo algoritem za detekcijo obrazov. V primeru uspešne detekcije obrazov na posredovani sliki, prejmemo tudi odziv z oblačne platforme Azure, v katerem so podane informacije o zaznanih obrazih. Posredovani podatki so sicer neberljivi in so uporabni samo za vizualni prikaz, v primeru predlaganega sistema pa se uporabijo za nadaljnjo procesiranje (razpoznavo obrazov).
V tretjem koraku se izvaja prepoznava oseb na zajeti sliki. Pri tem izkoristimo podatke pridobljene v prejšnjem koraku, in sicer predvsem podatek “faceId” – ki predstavlja unikatno kodo, ki identificira lastnosti obraza. Vse identifikacijske kode obrazov je potrebno nato shraniti v polju in poslati na Azure API za razpoznavo obrazov. Pri tem pošljemo zraven še spremenljivko skupine, s katero algoritem primerja pridobljene podatke s shranjenimi obrazi na Azure platformi. V primeru prepoznave oseb v katerikoli od definiranih skupin, prejmemo odziv z oblačne platforme Azure, v katerem so podane informacije o kandidatih in kolikšna je zaupanje algoritma o pravilni razpoznavi osebe na sliki.
V prejšnjem koraku smo identificirali osebe. V primeru uspešne identifikacije, vsebuje prejeti odziv z oblačne platforme Azure informacije. Zaradi potrebe po podrobnejših podatkih prepoznane osebe (ime, opis), moramo v predlaganem sistemu ponoviti klic na oblačno platformo Azure in uporabiti API za pridobivanje specifične osebe. Težava je, da bi sistem na ta način dokaj hitro porabil razpoložljivo omejeno količino klicev API funkcij na oblačni platformi Azure, ki znaša 30.000 klicev na mesec. Zato smo minimizirali izvajanje takšnih klicev za pridobivanje podrobnejših informacijo o osebah tako, da smo ob vsaki prepoznavi osebe predhodno preverili ali že obstajajo pripadajoči zapisi v pomnilniku. V kolikor takšnih zapisov še ni bilo, smo klicali API funkcijo za pridobivanje vseh oseb skupine ponovno, in jih nato shranili v pomnilnik. Na takšen način smo znatno zmanjšali število klicev.
V zadnjem koraku je potrebno v predlaganem sistemu vse pridobljene podatke posredovati še na IoT platformo okolja z IP kamero, ki ja v našem primeru platforma Home Assistant.
Poleg sistema za prepoznavo oseb, potrebujemo še aplikacijo za upravljanje z oblačno platformo Azure za dodajanje novih obrazov, oseb, skupin ipd. Zaradi narave sistema Azur, ki deluje preko API klicev (ki ni ravno najbolj prijazen način za uporabnika), smo razvili spletno aplikacijo, in tako omogočili uporabnikom lažji dostop in lažje upravljanje sistema. Za razvoj spletne aplikacije smo uporabili MERN okolje.
.
Razvoj naprednega sistema za detektiranje voznih pasov na platformah GPU
