Det har varit spektakulärt att ha lärt sig det djupa språket, men orsaken till denna framgång är fortfarande oklar på grund av den inneboende komplexiteten i det djupa lärandet. Detta dokument ger empiriska belägg för dess effektivitet och för en begränsning av neurala nätverk för språkteknik. Exakt visar vi att en Long Short-Term Memory (LSTM)-baserad neural språkmodell effektivt reproducerar Ziffs lag och Heaps lag, två representativa statistiska egenskaper underliggande naturligt språk. Vi diskuterar kvaliteten på reproducerbarheten och uppkomsten av Ziffs lag och Heaps lag som utbildning fortskrider. Vi påpekar också att den neurala språkmodellen har en begränsning i att reproducera långdistans korrelation, en annan statistisk lag av naturligt språk. Denna förståelse kan ge en riktning av förbättring av arkitekturer av neurala nätverk.
Ref. REF är en empirisk studie av naturliga språkmodeller och fokuserar främst på en punktstatistik som Ziffs lag.
Do Neural Nets Learn Statistical Laws behind Natural Language?
{'venue': 'PloS one', 'journal': 'PloS one', 'mag_field_of_study': ['Computer Science', 'Medicine']}