Vi presenterar en metod som kan extrahera parallella meningar från långt mer olikartade "mycket-icke-parallell corpora" än tidigare "jämförbara corpora" metoder, genom att utnyttja bootstrapping på toppen av IBM Model 4 EM. Steg 1 av vår metod, liksom tidigare metoder, använder likhetsåtgärder för att hitta matchande dokument i en corpus först, och sedan extraherar parallella meningar samt nya ord översättningar från dessa dokument. Men till skillnad från tidigare metoder, vi utvidgar detta med en iterativ bootstrapping ram baserat på principen om "find-one-get-mer", som hävdar att dokument som befunnits innehålla ett par parallella meningar måste innehålla andra även om dokumenten bedöms vara av låg likhet. Vi återmatchar dokument baserade på extraherade mening par, och förfina gruvprocessen iterativt fram till konvergens. Denna nya "find-one-get-mer" princip gör att vi kan lägga till mer parallella meningar från olika dokument, till baslinjeuppsättningen. Experimentella resultat visar att vår föreslagna metod är nästan 50% effektivare än referensmetoden utan iteration. Vi visar också att vår metod är effektiv för att öka prestandan hos IBM Model 4 EM lexical eleven som den senare, även om starkare än Model 1 används i tidigare arbete, inte presterar bra på data från mycket-non-parallell corpus. Den mest utmanande uppgiften är att extrahera tvåspråkiga meningar och lexikon från mycket-icke-parallell data. Den senaste tidens arbete (Munteanu m.fl., 2004, Zhao och Vogel, 2002) om utdrag av parallella meningar från jämförbara uppgifter, och andra om utdrag av parafraserande meningar från enspråkig corpora (Barzilay och Elhadad 2003) bygger på principen "find-topic-extract-sentence", som hävdar att parallella meningar endast existerar i dokumentpar med hög likhet. De använder alla lexikal information (t.ex. ordöverlappning, cosinus likhet) att matcha dokument först, innan utdrag meningar från dessa dokument.
Den senaste fallstudien av dokument och mening anpassning från -mycket-mycket-icke-parallell korpora på är arbetet från REF.
Mining Very-Non-Parallel Corpora: Parallel Sentence And Lexicon Extraction Via Bootstrapping And EM
{'venue': 'SIGDAT Conference On Empirical Methods In Natural Language Processing', 'journal': None, 'mag_field_of_study': ['Computer Science']}