Det senaste arbetet har förbättrat vår förmåga att upptäcka språkliga kunskaper i ordrepresentationer. Dagens metoder för att upptäcka syntaktisk kunskap testar dock inte om syntaxträd är representerade i sin helhet. I detta arbete föreslår vi en strukturell sond, som utvärderar om syntaxträd är inbäddade i en linjär omvandling av ett neuralt nätverk ord representation utrymme. Sonden identifierar en linjär omvandling under vilken kvadratavståndet L2 kodar avståndet mellan orden i parseträdet och ett där kvadratavståndet L2 norm kodar djup i parseträdet. Med hjälp av vår sond visar vi att sådana omvandlingar existerar för både ELMo och BERT men inte i baslinjer, vilket ger bevis för att hela syntaxträd implicit är inbäddade i djupa modellers vektorgeometri.
REF är också intresserad av syntaktisk kunskap och föreslår en metod för att utvärdera om hela syntaxträd är inbäddade i en linjär omvandling av en modells ordrepresentationsutrymme, vilket visar att BERT faktiskt fångar sådan information.
A Structural Probe for Finding Syntax in Word Representations
{'venue': 'NAACL-HLT', 'journal': None, 'mag_field_of_study': ['Computer Science']}