Neural maskinöversättning (NMT) modeller lär sig representationer som innehåller betydande språklig information. Det är dock inte klart om sådan information är helt fördelad eller om en del av den kan tillskrivas enskilda neuroner. Vi utvecklar oövervakade metoder för att upptäcka viktiga neuroner i NMT-modeller. Våra metoder bygger på intuitionen att olika modeller lär sig liknande egenskaper och inte kräver någon kostsam extern övervakning. Vi visar experimentellt att översättningskvaliteten beror på de upptäckta nervcellerna, och finner att många av dem fångar vanliga språkliga fenomen. Slutligen visar vi hur man kontrollerar NMT-översättningar på förutsägbara sätt, genom att modifiera aktiveringar av enskilda neuroner.
REF använde SVCA som en av de metoder som används för att identifiera viktiga enskilda neuroner i NMT-modeller.
Identifying and Controlling Important Neurons in Neural Machine Translation
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}