Vi introducerar och illustrerar ett nytt tillvägagångssätt för att mäta och mildra oavsiktliga fördomar i maskininlärningsmodeller. Vår definition av oavsiktlig partiskhet är parameteriserad av en testuppsättning och en delmängd av indatafunktioner. Vi illustrerar hur detta kan användas för att utvärdera textklassificeringar med hjälp av en syntetisk testuppsättning och en offentlig corpus av kommentarer kommenterade för toxicitet från Wikipedia Talk sidor. Vi visar också hur obalans i utbildningsdata kan leda till oavsiktliga fördomar i de resulterande modellerna, och därmed potentiellt orättvisa tillämpningar. Vi använder en uppsättning gemensamma demografiska identitetstermer som delmängd av indatafunktioner som vi mäter partiskhet på. Denna teknik möjliggör analys i det gemensamma scenariot där demografisk information om författare och läsare inte finns tillgänglig, så att partisk begränsning måste fokusera på själva textens innehåll. Den begränsningsmetod vi inför är en oövervakad metod baserad på balansering av träningsdata. Vi visar att detta tillvägagångssätt minskar den oavsiktliga partiskheten utan att kompromissa med den övergripande modellens kvalitet.
REF undersökte den potentiella orättvisan för klassificering av giftiga kommentarer på grund av oavsiktliga partiskheter, och föreslog metoder för att mildra den genom att balansera utbildningsdatasetet med ytterligare data.
Measuring and Mitigating Unintended Bias in Text Classification
{'venue': "AIES '18", 'journal': None, 'mag_field_of_study': ['Computer Science']}