Vi försöker förstå hur representationerna av enskilda symboler och strukturen av den inlärda funktionen utrymme utvecklas mellan skikt i djupa neurala nätverk under olika lärande mål. Vi fokuserar på Transformers för vår analys eftersom de har visat sig effektiva på olika uppgifter, inklusive maskinöversättning (MT), vanliga vänster-till-höger språkmodeller (LM) och maskerad språkmodellering (MLM). Tidigare arbeten använde svart-box undersökning uppgifter för att visa att de representationer som lärt sig av Transformer skiljer sig avsevärt beroende på målet. I detta arbete använder vi kanonisk korrelationsanalys och ömsesidiga skattningar av information för att studera hur information flödar över Transformerlager och hur denna process beror på valet av inlärningsmål. Till exempel, när du går från botten till toppen lager, information om det förflutna i vänster-till-höger språk modeller försvinner och förutsägelser om framtiden bildas. Däremot, för MLM, representationer initialt få information om sammanhanget runt token, delvis glömma den symboliska identiteten och producera en mer generaliserad symboliska representation. Den symboliska identiteten sedan återskapas på de översta MLM lager.
REF använder kanonisk korrelationsanalys och ömsesidiga skattningar av information för att studera hur information flödar över Transformer-lager och finner att representationerna skiljer sig avsevärt beroende på målen (MT, LM och MLM).
The Bottom-up Evolution of Representations in the Transformer: A Study with Machine Translation and Language Modeling Objectives
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}