Abstract-Previous arbete på statistikspråk modellering har visat att det är möjligt att träna en feedfore neural nätverk till ungefärliga sannolikheter över sekvenser av ord, vilket resulterar i betydande felreduktion jämfört med standard baslinje modeller baserade på -gram. Men att träna neurala nätverksmodellen med max-likelihood-kriteriet kräver beräkningar som står i proportion till antalet ord i ordförrådet. I detta dokument introducerar vi adaptiv viktprovtagning som ett sätt att påskynda utbildningen av modellen. Tanken är att använda en adaptiv -gram-modell för att spåra de villkorliga distributioner som produceras av det neurala nätverket. Vi visar att en mycket betydande hastighet kan uppnås när det gäller standardproblem. Index Terms-Energy-baserade modeller, snabb utbildning, viktprovtagning, språkmodellering, Monte Carlo-metoder, probabilistiska neurala nätverk.
Därför föreslog Bengio och Audry REF att provtagning av adaptiv betydelse skulle användas för att påskynda utbildningen.
Adaptive Importance Sampling to Accelerate Training of a Neural Probabilistic Language Model
{'venue': 'IEEE Transactions on Neural Networks', 'journal': 'IEEE Transactions on Neural Networks', 'mag_field_of_study': ['Medicine', 'Computer Science']}