Den ökande mångfalden av språk som används på webben inför en ny nivå av komplexitet i systemen för informationsinsamling (IR). Vi kan inte längre anta att textinnehåll är skrivet på ett språk eller ens samma språkfamilj. I detta dokument visar vi hur man bygger massiva flerspråkiga notatorer med minimal mänsklig expertis och intervention. Vi beskriver ett system som bygger namngivna Entity Recognition (NER) annoterare för 40 större språk med hjälp av Wikipedia och Freebase. Vårt tillvägagångssätt kräver inte NER-annoterade dataset eller språkspecifika resurser som trädbankar, parallellkorpora och ortografiska regler. Det nya tillvägagångssättet ligger i att använda enbart språkagnostiska tekniker, samtidigt som man uppnår konkurrenskraftiga resultat. Vår metod lär sig distribuerade ord representationer (ord inbäddningar) som kodar semantiska och syntaktiska funktioner i ord på varje språk. Därefter genererar vi automatiskt datauppsättningar från Wikipedia länkstruktur och Freebase attribut. Slutligen tillämpar vi två förbearbetningssteg (överampling och exakt ytform matchning) som inte kräver någon språklig expertis. Vår utvärdering är tvåfaldig: För det första visar vi systemet prestanda på mänskliga kommenterade datauppsättningar. För det andra föreslår vi en ny metod, distansutvärdering, baserad på statistisk maskinöversättning, för språk där det inte finns några guldstandardriktmärken.
REF byggde massiva flerspråkiga notatorer med minimal mänsklig expertis genom att använda språkagnostiska tekniker.
POLYGLOT-NER: Massive Multilingual Named Entity Recognition
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}