Obdobje: 01.07.2019-30.06.2022
Akronim projekta: HUMANIPA
Vrsta projekta: J2-1737 (B)
Vodja projekta: Prof. Zdravko Kačič
Obseg za 2020: 0.83 FTE
SICRIS: HUMANIPA
V okviru raziskovalnega projekta HUMANIPA razvijamo nov koncept razumevanja pogovorne intelligence CLU (Conversational language understanding) podan na sliki, kot nov edinstven pristop, ki nadalje razvija idejo, da so verbalni in neverbalni pogovorni signali komplementarni in enako pomembni v pogovornih izrazih. Tako v okviru projekta razvijamo nove modele na osnovi fuzije, in tudi algoritme na osnovi AI, ki bodo sposobni ustvarjati poglobljeno razumevanje v kognitivnem medsebojnem sovplivanju s komunikativnim namenom kot osrednjim jedrom v človeški interakciji. Ti algoritmi bodo temeljili na tehnikah globokega učenja in bodo uporabljali celovite pogovorne signale, ki jih vsebuje tudi EVA-Corpus.
Ključne raziskovalne aktivnosti za program HUMANIPA so usmerjene v razumevanje in modeliranje pogovornega jezika v interakcijah človek-človek. Na področju procesiranja naravnega jezika in razumevanju govorjenega jezika, začenja prevzemati pomembno vlogo v interakciji človek-stroj gestikulacija in neverbalna komunikacija, kot tudi sposobnost izražanja informacij ne samo z besedami. Postalo je namreč jasno, da je vključevanje takšnih signalov ključna usmeritev pri ugotavljanju bolj osebnega vidika uporabniških vnosov in načina, kako se odzivi naprav lahko predstavijo ljudem. V neposredni interakciji so neverbalni signali posredovani skupaj z govorjeno vsebino (ali celo v njeni odsotnosti) ključni za vzpostavljanje kohezije v diskurzu.
Lahko bi rekli, da verbalni/lingvistični deli govorjenega jezika (npr. besede, slovnica, sintaksa) nosijo simbolično/semantično interpretacijo sporočila, medtem ko ko-verbalni deli (npr. geste, izrazi, prozodija) nosijo socialno komponento vsakega sporočila in služijo kot orkestrator komunikacije. Glavni vir nekohezivnosti (negativna percepcija) v odzivu je ravno pomanjkanje pogovornega znanja. Takšno znanje je sestavljeno iz komunikativnih signalov, iz jezikovne, paralingvistične in celo socialne domene, ki jih je potrebno podrobno raziskati. V okviru programa HUMANIPA tako predlagamo tudi študijo pogovornega jezika kot večmodalno razširitev govorjenega jezika, ki poleg govora vključuje neverbalno vedenje (govor telesa). V zvezi s tem predlagamo večplastno funkcijo , ki temelji na fuziji informacij in povezuje procesiranje naravnega jezika (NLP) in procesiranje jezika telesa (ELP) v enovit sistem za razumevanje pogovornega jezika (CLU).
Pogovorni prostor predlagan v okviru programa HUMANIPA je obsežen. Delne funkcije fuzije, ki jih zajema ELU (embodied language understanding), so kognitivne in pragmatične narave. Predlagani paralingvistični signali (npr. oblike, prozodija) in njihovo širjenje skozi dialog niso podrejeni kakšnim dobro opredeljenim slovničnim pravilom. Splošno uveljavljeno jezikoslovje (npr. besedilo kot prepoznano zaporedje besed) neposredno ne vsebuje veliko konteksta, ki bi presegalo neposredno semantični pomen, npr. v smislu identifikacije namena/pomena, niti ne vsebuje nobenih determinističnih označevalcev za določen namen. Tovrstni vhod torej ne omogoča neposrednih in determinističnih zaključkov. Predlagani koncept ELU in raziskovalno delo torej pokriva široko paleto naslednjih nalog: analiza večmodalnih korpusov pogovornega vedenja človek-človek, kontekstno neodvisno napovedovanje oblik in gibov (motorične sposobnosti), načrtovanje tako imenovane semiotične slovnice in kontekstno odvisnega leksikona koverbalnega obnašanja (gesticon), skladišča motoričnih sposobnosti, jezikovnih virov, prozodične in jezikovne narave kretenj in izrazov itd., kot elementarne komponente funkcij fuzije.
Na splošno raziskovalno delo temelji na pristopih, ki izhajajo iz procesiranja naravnega jezika, analitike velikih podatkov, statističnega modeliranja in strojnega učenja. Tako raziskujemo optimalno sklepanje (možne funkcije fuzije) na osnovi vrednotenja z na novo razvitimi algoritmi CLU. Na podlagi poizvedovalnih in opisnih raziskav, ki bodo izvedene skozi analitiko relevantnih pogovornih scenarijev v spontanem neformalnem diskurzu, bomo oblikovali hipoteze, sklepe in predpostavke glede funkcij fuzije (pogovornih konceptov) v pogovornem prostoru. Skozi pojasnjevalne raziskave bomo raziskali tudi več-signalne odnose in prepletanje pogovornih konceptov ter tako oblikovali nove pogovorne strategije s pripadajočimi verbalnimi in ne-verbalnimi viri. Torej bomo oblikovali t.i. pogovorno znanje. Glede na pogovorno znanje (hipoteze in sklepe) bomo oblikovali nove funkcije nizko/visoko nivojske fuzije kot algoritme umetne inteligence in jih testirali skozi kvalitativne in kvantitativne pristope. Tako bomo pogovorno znanje pretvorili v dejanske interakcijske strategije in modele. Podatki, uporabljeni kot gradivo za učenje, bodo vključevali spontane pogovore, s posebnim fokusom na predavanja in postavitve pogovorov med večimi udeleženci. Algoritmi bodo razviti in ovrednoteni v ustreznih okoljih (npr. pametni dom in AAL) in z ustrezno javnostjo (odrasli, starejši odrasli, ranljive skupine itd.).
DP1:V tej fazi bomo ustvarili teoretično osnovo in utemeljitev CLU koncepta, ter zagotovili skupno razumevanje in dosledno specifikacijo pogovornih kontekstov, domen, zahtev in relevantnih teorij na področju korpusnega jezikoslovja, večmodalne fuzije, pogovornih agentov (s telesom) in komunikativnega obnašanja, strukturo programa, in opredelitev ključnih kazalnikov uspešnosti in metode ter metriko evalvacije in validacije.
DP2: V tej fazi bomo odkrivali in oblikovali hipoteze, sklepe in predpostavke v zvezi z medsebojnim delovanjem ‘osnovnih’ pogovornih signalov, kako jih povezati v pogovorne koncepte in kako ti pogovorni koncepti skupaj z osnovnimi signali medsebojno vplivajo na komunikacijo (t.i. večplastni koncepti). Delo bo zajemalo poizvedovalne in opisne raziskave izvedene s pomočjo uporabo eksperimentalne analize večmodalnih pogovornih korpusov, ki temeljijo na vizualni analitiki, izvedeni prek namenskih analitičnih orodij, in orodje za izvajanje analitike nad masovnimi podatki. Orisali bomo najbolj naravne in optimalne transformacije kompleksnega pogovornega prostora v pogovorne artefakte (koncepte), ki so predstavljeni kot urejeni in enakomerno kodirani informacijski viri povezani preko skupne časovne osi.
DP3: V tej fazi se bomo osredotočali na raziskave in razvoj novih funkcij fuzije, na osnovi globokega učenja, ki so sposobne modelirati različne ravni večmodalne fuzije, da bi prepoznale in razvrstile komunikacijske namene v pogovornih epizodah (na odprti domeni). Izkoristili bomo vire informacij, sklepe in podatke, pridobljene v DP2 in ogrodja naprednega globokega učenja, ter sklepe in hipoteze preoblikovali iz strategij v dejanske modele interakcije uporabne na različnih področjih in konceptih v HMI.
DP4: V tej fazi bodo novi modeli modelirali koncept pogovornega dialoga, ki je sposoben izvajati in voditi kompleksno interakcijo človek-stroj (dialog) v odprti in zaprti domeni. Faza je namenjena tudi kvantitativni in kvalitativni oceni nove paradigme CLU, opredeljenih sklepov in razvitih funkcije fuzije v ustreznih kontekstih in s pomočjo ustreznih deležnikov. Za kvalitativni del eksperimentalnega dela bomo nadgradili relevantne pristope percepcijskih eksperimentov in oblikovali več poskusov s scenariji, ki so usmerjeni na specifične pogovorne koncepte določene funkcije fuzije na nizki ali visoki ravni. Za to bomo uporabili obstoječe sisteme dialoga in ECA tehnologije ter jih razširili s zmožnostjo obdelave, identifikacije in razvrščanja komunikacijskih namenov v ciljnih kontekstih. Za vsak scenarij bomo opredelili standardizirano taksonomijo vrednotenja, ki temelji na Likertovi lestvici.
DP5: Ta faza je namenjena vodenju projekta, specifikaciji zahtev in diseminaciji.
PDF dokument.pdf
Delavnice in konference
Raziskovalci v projektu
Publikacije