Många textkorpora uppvisar socialt problematiska fördomar, som kan spridas eller förstärkas i de modeller som tränas på sådana data. Till exempel, läkare kookcur oftare med manliga pronomen än kvinnliga pronomen. I denna studie föreslår vi (i) ett mått för att mäta könsfördomar; (ii) mäta fördomar i en text corpus och den text som genereras från en återkommande neural nätverk språkmodell tränad på text corpus; (iii) föreslå en regularization förlust term för språkmodellen som minimerar projiceringen av kodare-tränade inbäddningar på en inbäddande subrymd som kodar kön; (iv) slutligen, utvärdera effektiviteten av vår föreslagna metod för att minska könsfördomar. Vi anser att denna legaliseringsmetod är effektiv för att minska könsfördomar upp till en optimal vikt som tilldelas förlusttermen, bortom vilken modellen blir instabil när förvirringen ökar. Vi kopierar denna studie på tre tränings corpora-Penn Treebank, WikiText-2, och CNN/Daily Mail-resultat i liknande slutsatser.
Till exempel införde REF en legaliseringsbegrepp för språkmodellen för att bestraffa projiceringen av ordet inbäddning på det könet subspace, medan används kontrariska utbildning för att pressa riktningar av fördomar ut ur dolda stater.
Identifying and Reducing Gender Bias in Word-Level Language Models
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}