Uporaba pogovornih agentov v inteligentnih okoljih z uporabo platforme Home Assistant
Avtor: Aleks Brenčič
Mentor: izr. prof. dr. Matej Rojc univ. dipl. inž. el.
Stopnja: 1.
Datum: september, 2020
DKUM: ALEKS BRENČIČ
Cilj projekta je razviti sistem za okolja IoT, ki bi vključeval pogovorni vmesnik za napredno interakcijo med uporabnikom in nadzornim sistemom pametnega doma.
Sistem vključuje komunikacijsko vozlišče, ki povezuje naprave preko Wi-Fi omrežja. Komunikacija z vozliščem poteka preko MQTT protokola. Osrednji nadzorni sistem je platforma Home Assistant, ki se ga poganja na virtualnem računalniku z operacijskim sistemom Linux. Za komunikacijo platforme Home Assistant in uporabnika smo razvili multimedijski vmesnik (grafični elementi in govorni ukazi), preko katerega lahko uporabnik opazuje in govorno upravlja naprave z uporabo pogovornega sistema Almond.
Virtualni asistent (ang. Virtual assistant) je pogovorni vmesnik, s katerim lahko gradimo napredne interakcijske rešitve med strojno opremo IoT, in uporabniki, in na ta način poenostavimo in optimiziramo vedno bolj kompleksne storitve uporabnikom.
Asistenti so dandanes uporabljani na različne načine: od mobilnih aplikacij, internetnih straneh, pa vse do pametnih zvočnikov. Raznolika možnost komunikacije z napravami je odvisna od kompleksnosti pogovornega vmesnika, kjer najbolj preprosti pogovorni vmesniki podpirajo uporabo ukazov ali fraz, z ali brez odziva s strani naprave. V zadnjem času so postali bolj zanimivi tudi ciljno orientirani sistemi dialoga (angl. task oriented systems), kamor sodijo pametni zvočniki, kot so Amazon Alexa, Apple Siri, Cortana ali Google home, ki so vsi načrtovani za opravljanje določenih opravil ali krajše pogovore, za pridobivanje informacij od uporabnika, in za pomoč pri izvedbi določenih nalog. Mednje sodi upravljanje pametnih naprav v domu, poizvedbe po vremenu, predvajanje glasbe, pošiljanje sporočil, itd. V jedru takšnih sistemov se uporablja AI rešitve (ang. artificial intelligence), torej algoritme in strojno naučene modele, ki posnemajo kognitivno obnašanje človeka.
Platforma Home assistant (HA) je ogrodje, ki se uporablja za upravljanje in nadzor naprav v okoljih IoT.
Je odprto kodni sistem, ki je v osnovi lahko lokalna samostojna postavitev (stand-alone), ima pa na razpolago tudi nekatere plačljive funkcionalnosti, dostopne v oblačnih postavitvah. Ogrodje se lahko poganja na vgrajenem sistemu (npr. Rasberry Pi), ali pa tudi na virtualnih sistemih (npr. VMware), do katerih lahko nato dostopamo in jih konfiguriramo kar preko interneta ali ukazne konzole. Programski jezik s katerim ga konfiguriramo je Python. Obstaja tudi mobilna različica, s katero lahko tudi izven doma nadzorujemo in upravljamo vse naprave povezane v sistem HA. Platforma Home assistant vključuje širok nabor funkcionalnosti.
Razvoj sistema IoT s pogovornim asistentom Almond.
Almond je odprto kodni virtualni asistent, ki se uporablja za spletne storitve in sisteme IoT. Dandanes je že zelo razširjen, ker ima širok nabor funkcionalnosti in je uporabniku prijazen. Sestavljen je iz treh glavnih komponent, ki so: Thingpedija, ThinkTalk in ThingSystem. Thingpedia se uporablja za aplikacije za okolja IoT. Tako se uporablja za naprave, kot so npr. žarnice ali termostati itd. Vsaka naprava ima vnos, ki hrani vmesnik naravnega jezika (angl. Natural language interface), in ki predstavlja, kako ljudje referirajo, sodelujejo in vplivajo na naprave. Thingtalk je visoko nivojski programski jezik, ki so ga razvili za povezovanje z internetom stvari. Povezuje API (angl. application programming interface) od naprav skupaj, medtem ko skrivajo detajle od konfiguracije in komunikacije naprav. ThingSystem je komponenta, ki vključuje vse informacije vsakega uporabnika, ki se hranijo o njihovih napravah in ukazih. Je prenosljiv, kar pomeni, da ga lahko uporabniki uporabljajo na svojih mobilnih platformah ali na oblaku. ThingSystem ima dve glavni nalogi: nuditi pomoč uporabniku pri konfiguriranju in upravljanju njegovih naprav, ter izvajati programsko kodo.
Diskusija in rezultati
