Trots effektiviteten av återkommande neurala nätverk språk modeller, deras maximal sannolikhet uppskattning lider av två begränsningar. Den behandlar alla meningar som inte matchar den grundläggande sanningen som lika fattiga, ignorerar strukturen i utdatautrymmet. För det andra lider den av "exponering partisk": under träning polletter förutsägs ges mark-sanning sekvenser, medan vid testtid förutsägelse är beroende av genererade utgångssekvenser. För att övervinna dessa begränsningar bygger vi på den senaste belöningen förstärkt maximal sannolikhet strategi d.v.s.. Sekvens-nivå utjämning som uppmuntrar modellen att förutsäga meningar nära marken sanningen enligt en given prestandamått. Vi utvidgar detta tillvägagångssätt till token-level förlust utjämning, och föreslår förbättringar av sekvens-nivå utjämning tillvägagångssätt. Våra experiment på två olika uppgifter, bildtextering och maskinöversättning, visar att token-nivå och sekvensnivå förlust utjämning kompletterar, och avsevärt förbättra resultaten.
Därför vår token-nivå förlust avsevärt förbättrade resultaten genom att beräkna mycket tyngre än REF.
Token-level and sequence-level loss smoothing for RNN language models
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}