The Word Embedding Association Test visar att GloVe och word2vek word embeddings uppvisar människolika implicita fördomar baserade på kön, ras och andra sociala konstruktioner (Caliskan et al., 2017). Samtidigt har forskning om att lära sig återanvändbara textrepresentationer börjat utforska texter på straffnivå, med vissa meningskodare ser entusiastiskt antagande. Följaktligen utökar vi Word Embedding Association Test för att mäta fördomar i mening kodare. Vi testar sedan flera meningskodare, inklusive hjärtetillståndsmetoder som ELMo och BERT, för de sociala fördomar som studeras i tidigare arbete och två viktiga fördomar som är svåra eller omöjliga att testa på ordnivå. Vi observerar blandade resultat inklusive misstänkta mönster av känslighet som tyder på att testet antaganden inte kan hålla i allmänhet. Vi avslutar med att föreslå riktlinjer för framtida arbete med att mäta partiskhet i meningskodare.
VATTEN har nyligen utökats för att mäta bias i mening kodare REF.
On Measuring Social Biases in Sentence Encoders
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}