Den dominerande inställningen till språkmodellering hittills är baserad på återkommande neurala nätverk. Deras framgång på denna uppgift är ofta kopplad till deras förmåga att fånga obundna sammanhang. I detta dokument utvecklar vi en ändlig kontext strategi genom staplade konvolutioner, som kan vara mer effektiva eftersom de tillåter parallellisering över sekventiella polletter. Vi föreslår en ny förenklad gatingmekanism som överträffar Oord et al. (2016b) och undersöka effekterna av viktiga arkitektoniska beslut. Det föreslagna tillvägagångssättet uppnår state-of-the-art på WikiText-103-riktmärket, även om det har långsiktiga beroenden, samt konkurrenskraftiga resultat på Google Billion Words-riktmärket. Vår modell minskar latensen att göra en mening i storleksordning jämfört med en återkommande baslinje. Såvitt vi vet är detta första gången ett icke-återkommande tillvägagångssätt är konkurrenskraftigt med starka återkommande modeller för dessa storskaliga språkuppgifter.
Mer nyligen, Dauphin et al. REF införlivade gatingmekanismer i foder framåt CNN och uppnådde konkurrenskraftiga resultat i fråga om språkmodellering.
Language Modeling with Gated Convolutional Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}