Doktorski študij

Doktorski študij je usmerjeno na področje razvoja multimodalnih komunikacijskih vmesnikov, konkretneje na področje razumevanja naravnega jezika in generiranja pogovornega jezika (conversational language). Problema naprednega tvorjenja odzivov, ob uporabi postopkov umetne inteligence (AI), ki bi bili bolj podobni naravnemu odzivanju ljudi v pogovornih situacijah, namreč predstavlja zelo aktualno raziskovalno področje, saj je področje malo raziskano najpogosteje so teme raziskav še zmeraj vezane na generiranje bolj naravnega jezika na nivoju besedila (natural language generation NLG), ki je sicer pod-področje procesiranja naravnega jezika NLP. Izhodišče znanstveno raziskovalnega dela ne vključuje samo osnovnih vidikov umetne inteligence na področju NLP, ampak tudi razumevanje verbalne in neverbalne vsebine ter njihovo vključevanje v samodejno tvorjenje odzivov, vključuje pa tudi elemente kognitivne znanosti. Danes je to namreč eden največjih izzivov na področju razvoja splošne umetne inteligence (artificial general intelligence AGI). Med ciljne uporabe rezultatov dela lahko umestimo aplikacije za sisteme dialoga – ciljno usmerjeni sistemi in sistemi odprte domene (goal oriented systems, in open-domain systems).

Razvoj multimodalnih vmesnikov je multi-disciplinaren proces, ki združuje številna področja tako iz psihologije, sociologije, kot tudi tehnike (npr. umetna inteligenca, procesiranje in generiranje signalov, itn. ). Psihološke in sociološke raziskave definirajo obliko, vsebino in ”scenarije” (obnašanje) vmesnikov. Tehnične raziskave definirajo postopke in algoritme, ki aproksimirajo izvlečke psiholoških in socioloških raziskav v obliki strojnih/programskih odzivov. Neverbalno obnašanje v multimodalnih vmesnikih pojmujemo kot uporabo informacijskih kanalov, ki niso vezani na govor. Neverbalno obnašanje v spontanem dialogu predstavlja skupek miselnih (zavestnih in podzavestnih) procesov, ki navzven delujejo sinhrono. Korelacije med posameznimi procesi pa se izvajajo na različnih miselnih nivojih in v splošnem niso definirane po splošnih vzorcih. Poleg lastnega emocionalnega stanja, počutja, vedenjskih značilnosti ter komunikativnih in nekomunikativnih funkcij na tvorjenje neverbalnega obnašanja vplivajo še številni drugi faktorji, npr. starost, socialni status, odnos do teme (ali nas zanima ali ne), odnos do sogovorcev, zdravstveno stanje, namen sporočila in interakcije, ter drugi empirično izmerljivi in empirično neizmerljivi faktorji. Glavni cilj pogovornih agentov v multimodalnih vmesnikih je zagotoviti ”naravno” in verodostojno obnašanje. V splošnem, torej, da uporabnik izjavi agenta verjame, četudi obstaja pomanjkanje dokazov za resničnost (ustreznost) le-te. Naravnost obnašanja opišemo, s teorijo obnašanja, v obliki sinhronosti modalnosti, ki jih agent izkazuje ter spontanost, ustreznost in ponovljivost odzivov skozi katero agent izraža motivacijo, izurjenost, itn. Sinhronost modalnosti, predstavimo kot povezanost modalnosti, ki se sočasno izvajajo. Modalnosti, preko katerih virtualni agent izvaja naravno obnašanje povzamemo kot sinhronizacijo ustnic, emocije in obrazni izrazi ter ročna in telesna gestika.