Strojno prevajanje besedil

V projektu predstavljamo strojno prevajanje besedil, razne pristope in njihove prednosti in slabosti. Poudarek je na pristopih z globokimi nevronskimi mrežami, predstavljena pa je tudi problematika povezana s takšnimi prevajalniki. Predstavljamo tudi postopek učenja  treh modelov strojnih prevajalnikov (amun, s2s in transformer) z ogrodjem MarianNMT in njihovo primerjavo. Vrednotili smo čase učenja, in BLEU ocene njihovih prevodov. Podana sta tudi dva praktična primera prevoda istega stavka s temi modeli. 

Strojno prevajanje, po angleško “machine translation”, je postopek, kjer programska oprema besedilo iz enega jezika prevede v drugega, brez pomoči človeka. Razvili so se trije glavni pristopi strojnega prevajanja: strojno prevajanje na osnovi pravil (ang. Rule-based Machine Translation – RBMT), strojno prevajanje na podlagi podatkov (ang. Corpus-based (ali Data-driven) Machine Translation – CBMT), in nevronsko strojno prevajanje (ang. Neural Machine Translation – NMT). Najnovejši in najbolj kvalitetni od teh treh pristopov je nevronsko strojno prevajanje. Nevronski modeli za učenje uporabljajo korpuse. Modeli NMT zavzemajo veliko manj pomnilniškega prostora kot prevajalniki na podlagi podatkov. Slabost NMT je sicer enaka kot pri CBMT, da slabše prevajajo besedila iz drugih strokovnih področij. Podatki morajo biti zakodirani v obliki, ki jo lahko nevronska mreža “razume”. V primeru prevajalnikov to pomeni, da morajo biti besede oz. povedi pretvorjene v nek niz števil. To izvede kodirnik. Vsak niz predstavlja tako točno določen znak, besedo ali poved. Rezultat, ki ga vrne mreža je potrebno prav tako dekodirati v besede, kar pa stori dekodirnik. Dandanes se za strojno prevajanje bolj uporabljajo globoki nevronski prevajalniki.