Vi presenterar en enkel metod för språkoberoende och uppgift oberoende text kategorisering lärande, baserat på tecken-nivå n-gram språkmodeller. Vår strategi använder enkla informationsteoretiska principer och uppnår effektiv prestanda över en mängd olika språk och uppgifter utan att kräva funktionsval eller omfattande förbehandling. För att visa språket och uppgiften oberoende av den föreslagna tekniken, presenterar vi experimentella resultat på flera språk-grekiska, engelska, kinesiska och japanska-i flera text kategorisering problem-språkidentifiering, författare tillskrivning, text genre klassificering, och ämnesdetektering. Våra experimentella resultat visar att det enkla tillvägagångssättet uppnår toppmoderna prestationer i varje fall.
Till exempel använde REF enkla n-gram språkmodellering analyser på väldefinierade corpora på olika språk (grekiska, japanska, kinesiska och engelska) för att klassificera texter baserade på språk, författare, genrer och ämnen.
Language And Task Independent Text Categorization With Simple Language Models
{'venue': 'Human Language Technology Conference And Meeting Of The North American Association For Computational Linguistics', 'journal': None, 'mag_field_of_study': ['Computer Science']}