Maskinöversättning är en populär testbädd för forskning i neurala sekvens-till-sekvens modeller, men trots mycket ny forskning, det finns fortfarande en brist på förståelse för dessa modeller. Utövare rapporterar prestandanedbrytning med stora bjälkar, underskattning av sällsynta ord och brist på mångfald i de slutliga översättningarna. Vår studie relaterar några av dessa frågor till den inneboende osäkerheten i uppgiften, på grund av förekomsten av flera giltiga översättningar för en enda käll mening, och till den yttre osäkerhet som orsakas av bullriga träningsdata. Vi föreslår verktyg och mätvärden för att bedöma hur osäkerheten i data fångas upp av modelldistributionen och hur den påverkar sökstrategier som genererar översättningar. Våra resultat visar att sökning fungerar anmärkningsvärt bra men att modeller tenderar att sprida för mycket sannolikhet massa över hypotesutrymmet. Därefter föreslår vi verktyg för att bedöma modellkalibrering och visa hur man enkelt kan åtgärda vissa brister i nuvarande modeller. Som en del av denna studie, släpper vi flera mänskliga referensöversättningar för två populära riktmärken.
REF undersökte osäkerhetskällorna och föreslagna verktyg för att kontrollera monteringen mellan modellen och datadistributionen.
Analyzing Uncertainty in Neural Machine Translation
{'venue': 'ICML 2018', 'journal': None, 'mag_field_of_study': ['Computer Science']}