Vi anser att problemet med att upptäcka avvikelser är kategoriskt i datauppsättningar med hög aritmetik. I de flesta tillämpningar definieras anomalier som datapunkter som är "onormala". Ganska ofta har vi tillgång till data som mestadels består av normala register, tillsammans med en liten andel omärkta avvikande poster. Vi är intresserade av problemet med oövervakad anomali upptäckt, där vi använder omärkta data för utbildning, och upptäcka poster som inte följer definitionen av normalitet. En standardmetod är att skapa en modell av normala data, och jämföra testposter mot det. Ett probabilistiskt tillvägagångssätt bygger upp en sannolikhetsmodell från utbildningsuppgifterna. Poster testas för onormalhet baserat på den fullständiga rekordsannolikheten med tanke på sannolikhetsmodellen. För kategoriska attribut, bayes nät ger en standard representation av sannolikheten. Även om detta tillvägagångssätt är bra på att hitta outliers i datasetet, tenderar det ofta att upptäcka poster med attributvärden som är sällsynta. Ibland är det inte önskvärt att bara upptäcka sällsynta värden av ett attribut och sådana avvikelser betraktas inte som avvikelser i detta sammanhang. Vi presenterar en alternativ definition av avvikelser, och föreslår en metod för att jämföra mot marginella fördelningar av attribut undergrupper. Vi visar att detta är ett mer meningsfullt sätt att upptäcka anomalier, och har en bättre prestanda över semisyntetiska såväl som verkliga världsdatauppsättningar.
REF använde den probabilistiska metoden i den multivariata inställningen där sällsynta kooccurences av attributvärden inte, i sig, tyder på onormala värden.
Detecting anomalous records in categorical datasets
{'venue': "KDD '07", 'journal': None, 'mag_field_of_study': ['Computer Science']}