Uporaba umetne inteligence v sortirnih sistemih
Avtor: Primož Šek
Mentor: izr. prof. dr. Matej Rojc univ. dipl. inž. el.
Stopnja: 1.
Datum: september, 2021
Povzetek
V projektu je predstavljen sortirni sistem, ki temelji na umetni inteligenci oz. globokem učenju. Za bolj pametno delovanje sortirnih sistemov smo fizičnemu sistemu s kamero, dodali napredni sistem detekcije in prepoznave kvalitete objektov, kar smo izvedli z uporabo modelov globokega učenja. Za detekcijo objektov smo uporabili arhitekture nevronskih mrež kot so: CNN, RCNN in YOLOv5. V sklopu razvoja sistema smo predstavili tako pripravo potrebne podatkovne baze slik in postopke učenja modelov, ki smo ga sicer izvajali na oblaku. Na koncu tudi predstavimo delovanje sistema sortiranja, ki lahko na osnovi umetne inteligence, v realnem času vizualno zaznava in sledi objekte na sortirnem sistemu.
Algoritmi na osnovi globokega učenja za napredne sortirne sisteme
Zelo razvijajoče področje znotraj umetne inteligence je dandanes globoko učenje in nevronske mreže, ki se uporabljajo tudi za strojni vid. Ena od nalog je na primer tudi detekcija in prepoznava objektov, kar se koristno uporablja za klasifikacijo objektov npr. na digitalnih fotografijah. Ti procesi se sicer delijo na več nalog: klasifikacija slik (angl. image classification), lokalizacija objekta (angl. object localization ), detekcija objekta (ang. object detection), segmentacija objektov (ang. object segmentation), segmentacija slike. Za detekcijo objektov so trenutno najboljše in najbolj priljubljene konvolucijske nevronske mreže (ConvNet ali CNN). Druga priljubljena družina modelov za prepoznavanje objektov se imenuje YOLO ali “You Only Look Once”. Modeli R-CNN so na splošno sicer lahko natančnejši, je pa družina YOLO arhitektur hitra, oziroma veliko hitrejša od R-CNN in tako omogoča zaznavanje objektov v realnem času. Pristop vključuje eno samo nevronsko mrežo, ki vzame sliko kot vhod in napove mejni kvader in oznake razreda za vsak mejni kvader neposredno. Mreža yolo ima sicer manjšo natančnost napovedovanja od ostalih mrež (npr. več napak pri lokalizaciji), ampak je bolj optimizirana za hitrost. Deluje namreč s 45 do 155 sličic na sekundo, različno od velikosti modela. Model deluje tako, da najprej razdeli vhodno sliko v mrežo celic, kjer je vsaka celica odgovorna za napovedovanje mejnega kvadra, če središče omejevalnega polja pade v celico. Vsaka mrežna celica napoveduje mejne kvadre, ki vključuje koordinate x, y ter širino in višino, ter zaupanje. YOLOv5 je naravna razširitev YOLOv3.
Razvoj naprednega sortirnega sistema z uporabo umetne inteligence
Za razvojno okolje potrebujemo več programske opreme, ki jo je potrebno predhodno namestiti. V projektu smo uporabljali naslednje: PyCharm, CVAT v orodju Docker, spletno orodje Google colab. Za uporabo orodja CVAT lokalno, smo predhodno namestili orodje Docker. Orodje CVAT lahko uporabljamo tudi preko spletnega portala, ampak deluje program v tem primeru zelo počasi. Za dobro delovanje procesa sortiranja na osnovi umetne inteligence, potrebujemo kvalitetne podatke oz. podatkovno bazo. Slike smo v projektu zajemali s spletno kamero. Za zajemanje smo uporabili tudi knjižnico opencv. Učenje modela je potekalo v orodju Google colab. Učenje je potekalo v oblaku, zato smo podatkovno bazo naložili na njihove strežnike. Da se izognemo večkratnemu nalaganju podatkovne baze, omogoča orodje Google Colab povezavo tudi z Google Drive okoljem. Pri učenju je pomembna datoteka yaml, kjer so zapisani podatki o lokaciji baze, številu lastnosti, imena lastnosti itd. Detekcija zrn fižola v sortirnem sistemu deluje z visokim zaupanjem (angl. confidence), in sicer z vrednostmi okoli 0.90-0.94. Čas detekcije na slikah je bil zelo majhen (okoli 0.3s). Enako lahko delektiramo tudi zrna na video posnetku. V sortirnem sistemu smo predvideli, da za celovito delovanje sistema (izločanje slabih zrn) potrebujemo realno-časovno sledenje objektom. Za to nalogo smo uporabili program detekcije, ki vsebuje tudi sledenje. Pri tem je predstavljalo težavo to, da se objekti lahko vrtijo, in zato lahko z zornega kota fiksno postavljene kamere spreminjajo obliko, barvo in lastnosti, zaradi česar je imel sistem težavo prepoznavati skozi čas, ali gre za isti ali drug objekt.
Diskusija in rezultati
