Vi introducerar polyglot språk modeller, återkommande neurala nätverk modeller tränas för att förutsäga symbolsekvenser på många olika språk med hjälp av delade representationer av symboler och konditionering på typologisk information om det språk som ska förutsägas. Vi tillämpar dessa på problemet med att modellera telefonsekvenser-en domän där universella symbolinventeringar och tvärlingvist delade funktioner representationer är en naturlig passform. Intrinsisk utvärdering av utdragen perplexitet, kvalitativ analys av inlärda representationer och extrinsisk utvärdering i två nedströmstillämpningar som använder sig av fonetiska funktioner visar i) att polyglottmodeller bättre generaliserar till att hålla ut data än jämförbara enspråkiga modeller och ii) att polyglot fonetiska egenskaper representationer är av högre kvalitet än de inlärda enspråkigt.
En flerspråkig språkmodell som föreslås i REF försöker närma sig några av de problem som nämns ovan.
Polyglot Neural Language Models: A Case Study in Cross-Lingual Phonetic Representation Learning
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}