Hur håller neurala språkmodeller reda på talöverenskommelser mellan subjekt och verb? Vi visar att "diagnostiska klassificeringar", utbildade för att förutsäga tal från de interna tillstånden i en språkmodell, ger en detaljerad förståelse för hur, när och var denna information är representerad. Dessutom ger de oss insikt i när och var nummerinformationen är korrumperad i fall där språkmodellen till slut gör avtalsfel. För att visa den kausala roll som spelas av de representationer vi finner använder vi sedan avtalsinformation för att påverka LSTM:s förlopp under behandlingen av svåra meningar. Resultaten av ett sådant ingripande visar på en stor ökning av språkmodellens noggrannhet. Tillsammans visar dessa resultat att diagnostiska klassificeringar ger oss en oöverträffad detaljerad titt på representationen av språklig information i neurala modeller, och visar att denna kunskap kan användas för att förbättra deras prestanda.
REF använder diagnostiska klassificeringar för att spåra spridningen av information i RNN-baserade språkmodeller.
Under the Hood: Using Diagnostic Classifiers to Investigate and Improve how Language Models Track Agreement Information
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}