Återkommande neurala nätverk grammatiker (RNNG) är generativa modeller av språk som gemensamt modellerar syntax och ytstruktur genom att gradvis generera en syntax träd och mening i en top-down, vänster-till-höger ordning. Övervakade RNNGs uppnå stark språk modellering och tolkning prestanda, men kräver en kommenterad corpus av parse träd. I detta arbete experimenterar vi med oövervakad inlärning av RNNGs. Eftersom direkt marginalisering över utrymmet av latenta träd är intractable, tillämpar vi istället amortized variational inference. För att maximera bevisen lägre gränsen, utvecklar vi ett inference nätverk parameteriserat som en neural CRF valkrets parser. Om språkmodellering, oövervakade RNNGs utföra också sina övervakade motparter på riktmärken på engelska och kinesiska. På valkrets grammatik induktion, de är konkurrenskraftiga med de senaste neurala språkmodeller som inducerar trädstrukturer från ord genom uppmärksamhetsmekanismer.
REF träna oövervakade återkommande neurala nätverk grammatiker med en strukturerad inference nätverk för att inducera latenta träd.
Unsupervised Recurrent Neural Network Grammars
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}