I detta dokument presenteras en metod för rengöring och utvärdering av parallell corpora med hjälp av orduppriktningar och algoritmer för maskininlärning. Den bygger på antagandet att parallella meningar har många ordanpassningar medan icke-parallella meningar har få eller inga. Vi visar att det är möjligt att bygga en automatisk klassificering, som identifierar de flesta icke-parallell meningar i en parallell corpus. Denna metod gör det möjligt för oss att göra (1) automatisk kvalitetsbedömning av parallell corpus, och (2) automatisk parallell corpus rengöring. Metoden gör att vi kan få renare parallellkorpora, mindre statistiska modeller och snabbare MT-utbildning, men det garanterar inte alltid högre BLEU-poäng. Ett genomförande med öppen källkod av det verktyg som beskrivs i detta dokument finns tillgängligt på https://github.com/tilde-nlp/c-eval.
REF använder befintliga parallella korpora för att lära sig ordanpassningar och identifiera parallella meningar med antagandet att icke-parallella meningar har få eller inga ordanpassningar.
Word Alignment Based Parallel Corpora Evaluation and Cleaning Using Machine Learning Techniques
{'venue': 'EAMT', 'journal': None, 'mag_field_of_study': ['Computer Science']}