Gemensamma tillvägagångssätt för textkategorisering bygger i huvudsak på n-gramtal eller på inbäddade ord. Detta medför stora svårigheter i mycket dynamiska eller snabbt verkande miljöer, där uppkomsten av nya ord och/eller varierande felstavningar är normen. Ett paradigmatiskt exempel på denna situation är missbruk online beteende, med sociala nätverk och medieplattformar kämpar för att effektivt bekämpa ovanliga eller icke svartlistade hat ord. För att bättre kunna hantera dessa problem i dessa snabba miljöer föreslår vi att man använder felsignalen från klassbaserade språkmodeller som indata till textklassificeringsalgoritmer. I synnerhet tränar vi en nästa-tecken förutsägelse modell för en viss klass, och sedan utnyttja felet i sådana klass-baserade modeller för att informera en neural nätverk klassificerare. På så sätt övergår vi från förmågan att beskriva synliga dokument till förmågan att förutsäga osynligt innehåll. Preliminära studier med användning av out-of-vokabulary splits från missbruk tweet data visar lovande resultat, överträffar konkurrenskraftiga text kategoriseringsstrategier med 4-1%.
Serra m.fl. REF använder felsignalen från klassbaserade språkmodeller som en funktion för en neural klassificerare, vilket gör det möjligt att fånga online beteende som använder nya eller felstavade ord.
Class-based Prediction Errors to Detect Hate Speech with Out-of-vocabulary Words
{'venue': 'ALW@ACL', 'journal': None, 'mag_field_of_study': ['Computer Science']}