Två viktiga steg i språkidentifieringssystemen kan identifieras: språkmodelleringsfasen, där språkens särdrag fastställs och lagras i modeller, och klassificeringsfasen, där modellen för (partiell) indatadokumentet jämförs med referensspråkmodellerna. Den språkmodell som mest liknar inmatningsdokumentet representerar dokumentets språk. Vi beskriver de mest kända modeller och klassificeringsmetoder som är kända i litteraturen, och identifierar en nackdel i dem: behovet av att skapa en modell av hela dokumentet, även om språket kan identifieras med ett litet antal funktioner. För att undvika detta introducerar vi en ny språkidentifieringsteknik som bygger på Monte Carlo-provtagning. Vi visar att genom att bestämma språket för ett tillräckligt stort antal slumpmässiga funktioner kan vi bestämma vilket dokumentspråk som ska vara det språk som oftast blir resultatet av dessa funktioner. Om provmängden är tillräckligt stor kan bestämmas genom att man beräknar provtagningarnas standardfel. Slutligen diskuterar vi några pilotexperiment där vi jämför denna nya teknik med andra.
REF ) utvecklade ett system baserat på Monte Carlo-provtagning.
Applying Monte Carlo Techniques to Language Identification
{'venue': 'CLIN', 'journal': None, 'mag_field_of_study': ['Computer Science']}