Vi presenterar en uppsättning experiment för att visa att djupa återkommande neurala nätverk (RNN) lär sig interna representationer som fångar mjuka hierarkiska begrepp syntax från mycket varierande övervakning. Vi betraktar fyra syntaxuppgifter på olika djup av parseträdet; för varje ord förutsäger vi dess del av tal såväl som den första (förälder), andra (morförälder) och tredje nivån (farfarförälder) ingående etiketter som visas ovanför det. Dessa förutsägelser är gjorda av representationer som produceras på olika djup i nätverk som är förträngda med ett av fyra mål: beroendetolkning, semantisk rollmärkning, maskinöversättning eller språkmodellering. I varje fall finner vi en korrelation mellan nätdjup och syntaktiskt djup, vilket tyder på att en mjuk syntaktisk hierarki uppstår. Denna effekt är robust över alla förhållanden, vilket tyder på att modellerna kodar betydande mängder syntax även i avsaknad av en explicit syntaktisk utbildning övervakning.
REF mäter mängden syntax i RNN genom att förutsäga del-av-tal-taggar och ingående etiketter.
Deep RNNs Encode Soft Hierarchical Syntax
{'venue': 'Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers)', 'journal': 'Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers)', 'mag_field_of_study': ['Computer Science']}