Neurala språkmodeller lär sig ordrepresentationer, eller inbäddningar, som fångar rik språklig och konceptuell information. Här undersöker vi inbäddningar inlärda av neurala maskinöversättningsmodeller, en nyligen utvecklad klass av neural språkmodell. Vi visar att inbäddningar från översättningsmodeller överträffar dem som lärs av enspråkiga modeller vid uppgifter som kräver kunskap om både begreppsmässig likhet och lexikalsyntaktisk roll. Vi visar vidare att dessa effekter håller vid översättning från både engelska till franska och engelska till tyska, och hävdar att de önskvärda egenskaper översättning inbäddade bör uppstå i stort sett oberoende av källan och målspråk. Slutligen tillämpar vi en ny metod för att träna neurala översättningsmodeller med mycket stora ordförråd, och visar att denna vokabulärexpansionsalgoritm resulterar i minimal nedbrytning av inbäddande kvalitet. Våra inbäddade utrymmen kan ställas i en online demo och laddas ner från vår webbsida. Sammantaget visar våra analyser att översättningsbaserade inbäddningar bör användas i tillämpningar som kräver att begreppen är organiserade efter likhet och/eller lexikal funktion, medan enspråkiga inbäddningar är bättre lämpade för modellering (icke-specifik) mellanordsrelativitet.
REF fann att ordvektorer från maskinöversättningsmodeller överträffar dem som lärt sig från enspråkiga modeller i ordlikviditet.
Embedding Word Similarity with Neural Machine Translation
{'venue': 'ICLR 2014', 'journal': 'arXiv: Computation and Language', 'mag_field_of_study': ['Computer Science']}