Sammanfattning För statistisk inlärning betraktas kategoriska variabler i en tabell vanligtvis som diskreta enheter och kodas separat till vektorer, t.ex. med envartkodning. "Dirty" icke-curated data ger upphov till kategoriska variabler med en mycket hög kardinalitet men redundans: flera kategorier återspeglar samma enhet. I databaser är denna fråga vanligtvis löst med en deduplikation steg. Vi visar att ett enkelt tillvägagångssätt som exponerar redundansen till inlärningsalgoritmen ger betydande vinster. Vi studerar en generalisering av one-hot kodning, likhet kodning, som bygger funktioner vektorer från likheter mellan olika kategorier. Vi utför en grundlig empirisk validering på icke-kurerade tabeller, ett problem som sällan studerats i maskininlärning. Resultat på sju verkliga datauppsättningar visar att likhetskodning ger betydande vinster i prediktiv prestanda jämfört med kända kodningsmetoder för kategorier eller strängar, särskilt enhot kodning och påse tecken n-gram. Vi drar praktiska rekommendationer för kodning smutsiga kategorier: 3-gram likhet verkar vara ett bra val för att fånga morfologisk likhet. För mycket högkardinaliteter, minskar dimensionaliteten avsevärt beräkningskostnaden med liten förlust i prestanda: slumpmässiga projektioner eller välja en delmängd av prototypkategorier fortfarande överträffar klassiska kodningsmetoder.
Patricio Cerda m.fl. föreslå en sådan likhet kodning teknik för att koda smutsiga, icke-kurerade kategoriska data REF.
Similarity encoding for learning with dirty categorical variables
{'venue': 'Machine Learning', 'journal': 'Machine Learning', 'mag_field_of_study': ['Mathematics', 'Computer Science']}