Vi karakteriserar empiriskt prestandan hos discriminativa och generativa LSTM-modeller för textklassificering. Vi finner att även om RNN-baserade generativa modeller är mer kraftfulla än deras bag-of-words förfäder (t.ex., de står för villkorliga beroenden över ord i ett dokument), de har högre asymptotic felfrekvens än discriminativt utbildade RNN modeller. Men vi finner också att generativa modeller närmar sig sin asymptotiska felfrekvens snabbare än sina diskriminerande motsvarigheter – samma mönster som Ng & Jordan (2001) visade sig ha för linjära klassificeringsmodeller som gör mer naiva antaganden om villkorat oberoende. Med utgångspunkt i detta kan vi tänka oss att RNN-baserade generativa klassificeringsmodeller kommer att vara mer robusta för förändringar i datadistributionen. Denna hypotes bekräftas i en serie experiment i noll-shot och kontinuerliga inlärningsmiljöer som visar att generativa modeller väsentligt överträffar diskriminativa modeller.
Författarna till REF karakteriserade prestandan hos discriminativa och generativa modeller för långtidsminne (LSTM) för textklassificering, vilket visar att generativa modeller väsentligt överträffar diskriminativa modeller.
Generative and Discriminative Text Classification with Recurrent Neural Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}