Språkligt lärande gör att vi kan använda utbildningsdata från ett språk för att bygga modeller för ett annat språk. Många tillvägagångssätt till tvåspråkigt lärande kräver att vi har ord-nivå anpassning av meningar från parallell corpora. I detta arbete utforskar vi användningen av autoencoder-baserade metoder för språköverskridande inlärning av vektoriska ord representationer som är i linje mellan två språk, utan att förlita sig på ordnivå anpassningar. Vi visar att vi genom att helt enkelt lära oss att rekonstruera bag-of-words representationer av anpassade meningar, inom och mellan språk, faktiskt kan lära oss högkvalitativa representationer och göra utan ord anpassningar. Eftersom utbildningen autokodare på ordobservationer presenterar vissa beräkningsfrågor, föreslår och jämför vi olika variationer anpassade till denna inställning. Vi föreslår också en explicit korrelation maximera regularizer som leder till betydande förbättringar i prestanda. Vi undersöker empiriskt framgången med vår strategi när det gäller problemet med gränsöverskridande testklassificering, där en klassiator som är utbildad på ett visst språk (t.ex. engelska) måste lära sig att generalisera till ett annat språk (t.ex. tyska). Dessa experiment visar att våra strategier är konkurrenskraftiga med den senaste tekniken och att vi uppnår upp till 10-14 procentenheters förbättringar jämfört med de bästa rapporterade resultaten av denna uppgift.
Till exempel, autoencoder utvidgas till en tvåspråkig version BAE i REF som lär vektoriska ord representationer från anpassade meningar.
An Autoencoder Approach to Learning Bilingual Word Representations
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}