Vi föreslår en neural språkmodell som kan oövervakad syntaktisk strukturinduktion. Modellen utnyttjar strukturinformationen för att skapa bättre semantiska representationer och bättre språkmodellering. Standard återkommande neurala nätverk begränsas av sin struktur och misslyckas med att effektivt använda syntaktisk information. Å andra sidan kräver trädstrukturerade rekursiva nätverk vanligtvis ytterligare strukturell övervakning på bekostnad av mänsklig expertanmärkning. I detta papper, Vi föreslår en ny neural språkmodell, som kallas Parsing-Reading-Predict Networks (PRPN), som samtidigt kan inducera den syntaktiska strukturen från oannoterade meningar och utnyttja den inferred struktur för att lära sig en bättre språkmodell. I vår modell, kan lutningen direkt bakåt-fördelas från språkmodellen förlust i neurala parsing nätverk. Experiment visar att den föreslagna modellen kan upptäcka den bakomliggande syntaktiska strukturen och uppnå toppmoderna prestanda på språkmodelluppgifter på ord- och teckennivå.
REF införde modellen Parsing-Reading-Predikt Networks (PRPN), som försöker utföra tolkning med endast en språkmodelleringssignal.
Neural Language Modeling by Jointly Learning Syntax and Lexicon
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}