Vi utforskar med hjälp av flerspråkiga dokument inbäddningar för närmaste granne gruvbrytning av parallella data. Tre dokument-nivå representationer undersöks: (i) dokument inbäddningar som genereras av helt enkelt genomsnitt flerspråkig mening inbäddningar; (ii) en neural bagof-words (BoW) dokumentkodning modell; (iii) en hierarkisk flerspråkig dokument kodare (HiDE) som bygger på vår mening-nivå modell. Resultaten visar att inbäddade dokument som härrör från genomsnitt på straffnivå är förvånansvärt effektiva för rena datauppsättningar, men föreslår modeller utbildade hierarkiskt på dokumentnivå är mer effektiva på bullriga data. Analysexperiment visar att våra hierarkiska modeller är mycket robusta mot variationer i den underliggande meningen inbäddande kvalitet. Med hjälp av dokument inbäddningar utbildade med HiDE uppnår state-of-the-art prestanda på FN (FN) parallell dokumentbrytning, 94,9% P@1 1 för en-fr och 97,3% P@1 för en-es.
En metod föreslår användning av hierarkiska dokument inbäddningar, konstruerade från mening inbäddningar, för tvåspråkiga dokument anpassning REF.
Hierarchical Document Encoder for Parallel Corpus Mining
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}