Interni projekti
DSPLab IoT okolje
V okviru tega projekta razvijamo skupno inteligentno okolje s pogovornimi vmesniki (CI – conversational interfaces) in pogovornimi agenti (CA – conversational agents), ki so vmesniki prihodnosti za interakcijo med človekom in strojem (HMI – human-machine interfaces). V osnovi takšni sistemi temeljijo na programski opremi in so razviti za interakcijo z ljudmi z uporabo naravnega jezika na podlagi imetne inteligence (AI – artificial intelligence), podpornih življenjskih okolij (AAL – ambient assisted living), robotike, sistemov interakcije človek-stroj (HMI) in interneta stvari (IoT). Kognitivna inteligenca za DSPLab IoT okolje se gradi v okviru nacionalnega projekta HUMANIPA in EU projektov COST CA18231 in PERSIST.
Razvoj pogovorne umetne inteligence
(HUMANIPA in PERSIST projekt)
Strojna platforma DSPLab IoT okolja
Oblačna podpora Microsoft, IBM, Google, Amazon platform
Razvoj DSPLab IoT okolja
Krmilniki so temelj vsakega pametnega doma – omogočajo komunikacijo med drugimi IoT napravami, da lahko delujejo skupaj. Omogočimo enostavno dodajanje IoT vgrajenih sistemov, kot so senzorji, termostati, ključavnice vrat, kamere, regulatorje svetlobe itd. z uporabo različnih brezžičnih protokolov Z-Wave, ZigBee, Bluetooth, BLE, Wi-Fi itd. Vgrajen Wi-Fi 802.11ac protokol podpira večjo pasovno širino, tako da se lahko povezuje dodatne Wi-Fi kamere brez poslabšanja kakovosti slike. Krmilnik je osrednje vozlišče DSPLab IoT okolja za ustvarjanje scenarijev v smeri varnosti v IoT okolju, in scenarijev naprednejših in pametnih odločitev v DSPLab IoT okolju. Scenariji omogočajo preprosto in enostavno prilagoditev Vera krmilnika za delo z IoT napravami točno tako, kot želimo oz. odloča kognitivna inteligenca v DSPLab IoT okolju.
Razvoj lokalne rešitve v oblaku za inteligentno avtomatizacijo DSPLabIoT okolja. Hass.io je sistem, ki temelji na Docker okolju in služi za upravljanje Home Assistant platforme in ostalih povezanih aplikacij, ki jih razvijamo. Nadzornik platforme vključuje API za upravljanje namestitve novih orodij in storitev. To vključuje tudi spreminjanje omrežnih nastavitev ali namestitev in posodabljanje programske opreme.
PLEX je medijski predvajalnik odjemalec-strežnik, ki ga sestavljata dve glavni komponenti. Plex Media Server lahko namestimo na sistemih Windows, macOS in Linux, vključno z nekaterimi vrstami naprav NAS, ki se uporabljajo v DSPLab IoT okolju. Strežniška aplikacija služi organiziranju video in audio podatkov in fotografij za DSPLab IoT okolje, in omogoča dostop do vsebin in njihovo predvajanje kjerkoli. Na voljo imamo odjemalce za mobilne naprave, pametne televizorje in ostale naprave za pretakanje (streaming), spletno aplikacijo, pa tudi številne druge možnosti.
IoT Hub je prehod (gateway) za podatke na portal Microsoft Azure. Podatke je mogoče izmenjevati z IoT Hub preko MQTT. Microsoft Azure Cloud je eno vodilnih oblačnih okolij. Portal Azure namreč ponuja številne storitve, ki jih je mogoče povezovati. Aplikacije v oblaku lahko tako ustvarjamo s povezovanjem končnih komponent. Ena izmed teh komponent je IoT Hub, ki služi kot najpomembnejši dvosmerni konektor za zunanje vire podatkov in IoT naprav v DSPLab IoT okolju. Z uporabo DSPLabIoT kognitivnega okolja in RPI prehoda, se lahko IoT Hub in s tem oblak Microsoft Azure poveže za shranjevanje podatkov, pa tudi za pridobivanje podatkov iz oblaka za lokalno uporabo DSPLab IoT sistema. Povezava z IoT Hub je realizirana z MQTT odjemalcem.
Kodi je programska oprema, ki je v DSPLabIoT uporabljena za predvajanje filmov, televizijskih oddaj, glasbe in fotografij. Kodi je uporabna podpora za veliko tipov datotek in zagotavlja združljivost z veliko različnimi napravami. V DSPLab okolju je več naprav, ki imajo nameščen Kodi, saj je brezplačna programska oprema na voljo za Windows, macOS, Linux, Android, iOS, Raspberry Pi (RPi) itd. V DSPLab okolju dostopajo KODI predvajalniki do vsebin na PLEX strežniku. Kodi je idealen vmesnik za predvajanje vsebin in za naprave, povezane s projektorji ali zvočniki. V menijih vključuje tudi veliko možnosti personalizacije in konfiguracije.
ReSpeaker Core v2.0 Seeed je uporabljen v DSPLabIoT za aplikacije, ki se razvijajo v okviru pogovornih vmesnikov(CI in CA). Temelji na Rockchip RK3229, štirijedrnem ARM Cortex A7 procesorju, 1,5 GHz, z 1 GB RAM-a. Na platformi je nameščenih šest mikrofonskih sklopov z akustičnimi algoritmi, vključno z DoA (direction of arrival), BF (beamforming), AEC (acoustic echo cancellation) itd. ReSpeaker Core v2.0 poganja operacijski sistem GNU/Linux (Debian). ReSpeaker Core v2.0 je zasnovan kot razvojni sistem. V ta namen je sestavljen iz dveh glavnih sklopov, pri čemer je prvi osrednji jedrni modul, ki vsebuje CPU, pomnilnik (RAM) in PMU. Drugi del je eksterni sklop, ki vsebuje periferne naprave, kot so eMMC, konektorji in komponente za brezžično povezovanje.
Jetson TX2 je najhitrejša, najbolj zmogljiva vgrajen AI sistem. Je 7,5-vatni superračunalnik, ki omogoča realiziranje AI rešitev na robu (edge) IoT okolij. Zgrajen je okoli GPU NVIDIA Pascal™ družine in vključuje 8 GB pomnilnika in 59,7 GB/s pomnilniške pasovne širine. Odlikuje ga več standardizirane strojne periferije, ki omogočajo enostavno integracijo v različne sisteme in IoT okolja. V DSPLab IoT okolju izvaja v realnem času procesiranje video tokov z IP kamer v okolju.
Aktivnosti
Prva zasnova platforme za HUMANIPA nacionalni projekt
Arhitektura platforme za HUMANIPA nacionalni projekt
Razvoj sistema za robustno detekcijo in prepoznavo obrazov za IoT – okolja na platformi Azure
Pametni sistem za vstopanje v prostore z uporabo oblačne platforme Azure
Strojna platforma
Projektna skupina