Vanligtvis är tvåspråkiga ordvektorer utbildade "online". Mikolov m.fl. (2013a) visade att de också kan hittas "offline", varigenom två förtränade inbäddningar är i linje med en linjär omvandling, med hjälp av ordböcker som sammanställts från expertkunskap. I detta arbete bevisar vi att den linjära omvandlingen mellan två utrymmen bör vara ortogonal. Denna omvandling kan erhållas med hjälp av singular value sönderdelning. Vi introducerar en roman "inverterad softmax" för att identifiera översättning par, med vilken vi förbättrar precisionen @1 av Mikolov ursprungliga kartläggning från 34% till 43%, när du översätter en testuppsättning som består av både vanliga och sällsynta engelska ord till italienska. Ortogonala omvandlingar är mer robusta för buller, vilket gör att vi kan lära oss omvandlingen utan expert tvåspråkig signal genom att bygga en "pseudo-ordbok" från identiska tecken strängar som visas på båda språken, uppnå 40% precision på samma testuppsättning. Slutligen utökar vi vår metod för att hämta de sanna översättningarna av engelska meningar från en corpus på 200k italienska meningar med en precision @1 av 68%.
REF visade vidare hur ortogonalitet krävdes för att förbättra enhetligheten i tvåspråkiga kartläggningar, vilket gjorde dem mer robusta för buller.
Offline bilingual word vectors, orthogonal transformations and the inverted softmax
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}