Gräva tvåspråkiga data (inklusive tvåspråkiga meningar och termer 1 ) från webben kan gynna många NLP-tillämpningar, såsom maskinöversättning och cross language information hämtning. I detta dokument, baserat på observationen att tvåspråkiga data på många webbsidor visas kollektivt enligt liknande mönster, föreslås en adaptiv mönsterbaserad tvåspråkig data mining metod. Speciellt, med tanke på en webbsida, metoden innehåller fyra steg: 1) förbehandling: tolkning av webbsidan till ett DOM träd och segmentera den inre texten i varje nod till snippets; 2) fröbrytning: identifiera potentiella översättning par (frön) med hjälp av en ordbaserad anpassning modell som tar både översättning och translitterering i beaktande; 3) mönsterinlärning: lära generaliserade mönster med identifierade frön; 4) mönsterbaserad gruvdrift: extrahera alla tvåspråkiga data på sidan med hjälp av de lärda mönster. Våra experiment på kinesiska webbsidor producerade mer än 7,5 miljoner par tvåspråkiga meningar och mer än 5 miljoner par tvåspråkiga termer, båda med över 80% noggrannhet.
REF presenterade en adaptiv mönsterbaserad metod som producerade kinesisk-engelska tvåspråkiga meningar och termer med över 80 % noggrannhet.
Mining Bilingual Data from the Web with Adaptively Learnt Patterns
{'venue': 'ACL-IJCNLP', 'journal': None, 'mag_field_of_study': ['Computer Science']}