Razvoj večmodalnega zaznavnega omrežja za zajemanje občutkov in ocene kakovosti življenja

Avtor: Valentino Šafran

Mentor: izr. prof. dr. Matej Rojc univ. dipl. inž. el.
Somentor: dr. Izidor Mlakar univ. dipl. inž. tk.
Stopnja: 2.
Datum: september, 2021
DKUM: VALENTINO ŠAFRAN

Povzetek

V magistrskem delu predstavljamo razvoj večmodalnega zaznavnega omrežja za namene evropskega projekta H2020 PERSIST, ki zajema podatke oziroma občutke, z namenom ocenjevanja kakovosti življenja pacientov. Pred razvojem sistema, smo preučili in podali pregled procesa zajema podatkov že obstoječih sistemov, ter pregled izbranih gradnikov za naš sistem. Predstavljamo tudi uporabljene standarde in protokole, ki se uporabljajo znotraj predlaganega sistema. Za arhitekturo večmodalnega zaznavnega omrežja smo izbrali tri temeljne gradnike za katere smo ocenili, da lahko tvorijo zmogljivo omrežje za prenos in obdelavo podatkov, ter ponujajo možnost nadgrajevanja v primeru zvišanja zahtev projekta. Ti trije gradniki so Apache Camel, Apache ActiveMQ Artemis in Apache Kafka. Vse gradnike smo postavili na fizičnem strežniku PERSIST_CAMEL, in sicer vsakega na svojem virtualnem stroju. Mikroservisi strojnega učenja, razen vprašalnikov, ki jih izvaja Rasa Chatbot, ki so v procesu razvoja, pa predstavljajo odjemalce tega sistema. Večmodalno zaznavno omrežje je ustrezno zavarovano z varnimi protokoli in z uporabo drugih varnostnih elementov. Na koncu podamo tudi rezultate testiranja obremenjenosti in odzivnosti sistema pri odgovarjanju na vprašalnike. Iz rezultatov je razvidno, da zastavljen sistem uspešno izvaja pretakanje podatkov za podano število 200 pacientov v projektu PERSIST, in lahko podpre tudi večje število uporabnikovt.

Platforma FIWARE

Strojno učenje in z njim nevronske mreže v zadnjih letih doživlja velik razcvet. Ocenjevanje zaupanja v nevronskih mrežah je pristop, s katerimi pridobimo iz globoke nevronske mreže informacijo o gotovosti razpoznave ali zaznave. S to dodatno informacijo lahko izboljšamo uspešnost modela na način, da izločimo iz končne množice izhodov tiste z nizko stopnjo gotovosti. Oblačne storitve, ki jih ponujajo tehnološki giganti kot so Google, Amazon, Facebook, Apple in podobni, so lahko dostopne in zajemajo podatke, ki so sami po sebi ponudnikom zelo koristni, saj pomagajo pri razvoju storitev. Za sam dostop uporabnikov do teh podatkov pri takih sistemih, pa je povsem drugačna zgodba. Za dostop do podatkov in servisov je namreč potrebno plačati ponudnikom, zato je sistem za njih v tem pogledu zaprtega tipa. Da bi se takšni problemi odpravili, se je na pobudo EU začel razvijati sistem FIWARE. FIWARE je modularen sistem izgrajen na osnovi odprto-kodnih komponent z namenom, da se pospeši razvoj pametnih rešitev. Pametne rešitve (ang. Smart Solutions) so kombinacija inovativnih tehnologij strojne in programske opreme na področju interneta stvari. Jedro FIWARE sistema je kontekstni posrednik Orion (ang. Orion Context Broker), ki omogoča upravljanje in deljenje podatkov v realnem času. Na ta način lahko pametna mesta (ang. Smart City) delijo informacije o dogajanjih v mestnih ulicah kot so npr. prometne informacije, kakovost zraka, prosta parkirna mesta in lokacijske informacije. Podobno podjetja za dostavo paketov in pošte, lahko delijo informacije o naročilu kot npr. trenutno lokacijo in pričakovan čas dostave. Te informacije, ki opisujejo kaj se trenutno dogaja, se imenujejo kontekstne informacije (ang. Context Information) [24]. FIWARE kontekstni posrednik je v bistvu RESTful API (ang. Application Programming Interface) in omogoča aplikacijam, da priskrbijo sistemu nove informacije, ter dobijo dostop do določenih kontekstnih informacij sistema.

Gradniki predlaganega sistema

Apache Camel je odprtokodno integracijsko ogrodje, ki temelji na Java programskem jeziku in na znanih podjetniških integracijskih vzorcih (ang. Enterprise Integration Patterns – EIP). Camel omogoča določanje pravil usmerjanja in posredovanja v različnih domensko specifičnih jezikih (ang. Domain Specific Language – DSL), vključno z aplikacijsko programirljivim vmesnikom (ang. Application Programming Interface – API) na osnovi Jave, in konfiguracijskimi datotekami Spring ali Blueprint XML. To pomeni, da se v razvojnem okolju (ang. Integrated Development Environment – IDE), lahko bodisi v urejevalniku Java ali XML (ang. Extensible Markup Language) jeziku, določajo pravila usmerjanja (ang. routing), oziroma poti (ang. routes) na »pameten« način. Camel se osredotoča na poenostavitev in podpira enostavno integracijo sistemov za razvijalce. Spring je ogrodje in kontejner za platformo Java. Osnovne funkcije ogrodja lahko uporablja katera koli aplikacija v Javi. Spring Boot omogoča enostavno kreiranje samostojnih aplikacij Spring, tudi brez predznanja programiranja, ki se jih lahko tudi preprosto in hitro požene. Večina aplikacij Spring Boot potrebuje minimalno Spring konfiguracijo v enostavni tekstovni obliki. Spring ponuja hitro in zanesljivo reševanje tudi varnostnih vprašanj. Spring razvijalci zelo aktivno sodelujejo namreč z varnostnimi strokovnjaki, da popravijo prijavljene ranljivosti glede na to, da se dela o odprtokodnem ogrodju. Odvisnosti (ang. dependencies) drugih proizvajalcev se prav tako natančno spremljajo, izdajajo pa se tudi redne posodobitve, da so podatki in aplikacije čim bolj varni. Poleg tega Spring Security poenostavi integracijo s standardnimi varnostnimi shemami in zagotavlja zanesljive rešitve, ki so privzeto varne. REST (ang. REpresentational State Transfer) je zasnovan na spletnih standardih in uporablja protokol HTTP (ang. Hypertext Transfer Protocol). Temelji na virih, kjer je vsaka komponenta predstavljena kot vir. Do vira se dostopa čez vmesnik (API) s standardnimi metodami HTTP. REST je prvič predstavil Roy Fielding leta 2000. Spletna storitev je zbirka odprtih protokolov in standardov, ki se uporabljajo za izmenjavo podatkov med aplikacijami ali sistemi. Programske aplikacije, napisane v različnih programskih jezikih in delujoče na različnih platformah, lahko uporabljajo spletne storitve za izmenjavo podatkov preko računalniških omrežij, kot je internet, na način, podoben medprocesni komunikaciji v računalniku. Ta interoperabilnost (npr. med Java in Python ali aplikacijami Windows in Linux) je posledica uporabe odprtih standardov. Spletne storitve, ki temeljijo na arhitekturi REST, so znane kot spletne storitve RESTful.

Swagger, oziroma dandanes poimenovan OpenAPI, je jezik za opisovanje vmesnikov (ang. Interface Description Language – IDL) in se uporablja za opisovanje RESTful API-jev, z uporabo JSON formata. Swagger se uporablja skupaj z nizom odprtokodnih programskih orodij za načrtovanje, izdelavo, dokumentiranje in uporabo RESTful spletnih storitev. Swagger vključuje avtomatizirano dokumentacijo, generiranje kode in generiranje testnih primerov. HL7 FHIR (ang. Health Level Seven Fast Healthcare Interoperable Resources) je standard in specifikacija na področju zdravja, napisan v programskem jeziku Java. FHIR sodi v domeno digitalnih elektronskih kartotek (ang. Electronic Health Records – EHR), kjer se podatki ustvarjajo kot viri (ang. resources). FHIR omogoča ustvarjanje, urejanje, brisanje in izmenjavo definicij medicinskih virov za določene profile, kot so pacient (ang. Patient), opazovanje (ang. Observation), vprašalnik (ang. Questionnaire) in več kot 140 drugih virov. Vsak vir je lahko predstavljen v XML, JSON, ND-JSON in RDF formatu. Apache ActiveMQ Artemis je odprtokodni projekt za gradnjo zmogljivega asinhronega sistema za sporočanje v skupinah na osnovi mnogih protokolov. Uporaba asinhrone komunikacije omogoča enostavno povezovanje odjemalcev in posrednikov v danem okolju za prenos sporočil z majhnimi velikostmi. MQTT je zelo lahek protokol za pošiljanje sporočil od odjemalca do strežnika, ki temelji na načelu objavi-naroči (ang. publish-subscribe) in podpira asinhrono komunikacijo kot opisuje MQTT specifikacija. MQTT je bil zasnovan posebej za zmanjšanje velikosti omrežnega prometa in odtisa kode, oziroma porabe resursov na napravah odjemalcev. Zaradi tega je MQTT idealen za s precej omejenimi viri majhnih naprav s senzorji in aktuatorji. Apache Kafka je distribuirana platforma za pretakanje dogodkov (ang. event streaming), ki lahko dnevno obdeluje bilijone dogodkov. Prvotno zasnovana kot čakalna vrsta sporočil, Kafka temelji na dnevniku zapisov (ang. commit-log). V dnevniku zapisov se beležijo pretekli dogodki sistema, s čimer se nadzoruje delovanje sistema in s čimer se lažje odpravljajo napake, ki nastajajo znotraj sistema. Kafka se je, odkar jo je ustvaril LinkedIn in leta 2011, hitro spremenila iz sporočilne vrste v platformo za pretakanje dogodkov.

Večmodalno zaznavno omrežje

V okviru evropskega projekta PERSIST, je bila predlagana arhitektura večmodalnega zaznavnega omrežja. Arhitekturo povezujeta dve omrežji VLAN, ki sta postavljeni na dveh strežnikih. Na prvem strežniku, imenovan PERSIST_CAMEL, se nahaja več navideznih strojev, ki gostijo gradnikem, kot so: Apache Camel, Apache ActiveMQ Artemis, Apache Kafka, odjemalci za testiranje vseh gradnikov, in mikro servis vprašalnikov. Na drugem strežniku, imenovan PERSIST_INFERENCE, pa se nahajajo mikroservisi na osnovi strojnega učenja, kot so: samodejno razpoznavanje govora, pretvorba besedila v govor in prepoznavanje emocij obraza pacientov iz video dnevnikov.

Testiranje sistema

Vsi gradniki večmodalnega zaznavnega omrežja se nahajajo v svojih virtualnih strojih, in sicer na dveh fizičnih strežnikih. Oba strežnika imata 1 Gb internetno povezavo znotraj VLAN-a A. Strežnik z imenom PERSIST_CAMEL je povezan tudi z notranjim VLAN-om B z interno dostopnim podomrežjem in gosti pet navideznih strojev preko virtualnega okolja Proxmox VE 6.3-2. Na tem strežniku je nameščen operacijski sistem Xubuntu 20.04 LTS. Na drugem strežniku z imenom PERSIST_INFERENCE ni navideznih strojev. Na tem strežniku, na katerem je nameščen Ubuntu Server 20.04 LTS OS, so načrtovani mikroservisi: FER, ASR, ECA in TTS. Za specifikacijo infrastrukture, ki jo predstavljamo v tabeli 5.1 lahko rečemo, da je lahka s 8 GB RAM-a za Apache Camel različice 3.4.0. 32 GB RAM-a je dodeljeno Rasa Chatbot različici 2.1, ki potrebuje več pomnilnika. Vsak gradnik ima dodeljeno eno ležišče (ang. socket) s štirimi procesorskimi jedri (ang. cores) in 32 GB SSD.

Diskusija in rezultati

Arhitektura večmodalnega zaznavnega omrežja (VZO) za projekt PERSIST.

Razvoj večmodalnega zaznavnega omrežja za zajemanje občutkov in ocene kakovosti življenja

Diskusija in rezultati

Laboratorij za digitalno procesiranje signalov

E-pošta

Kontakt

Naslov

Telefon