Läraren Forcing algoritm tränar återkommande nätverk genom att tillhandahålla observerade sekvensvärden som ingångar under utbildningen och med hjälp av nätverkets egna förutsägelser om ett steg för att utföra flerstegsprovtagning. Vi introducerar professor Forcing algoritmen, som använder adversarial domänanpassning för att uppmuntra dynamiken i det återkommande nätverket att vara densamma när utbildning nätverket och när provtagning från nätverket över flera tidssteg. Vi tillämpar professor Forcing på språkmodellering, röstsyntes på råa vågformer, handstilsgenerering och bildgenerering. Empiriskt finner vi att professor Forcing fungerar som en regularizer, vilket förbättrar testsannolikheten på karaktärsnivå Penn Treebank och sekventiell MNIST. Vi finner också att modellen kvalitativt förbättrar proverna, särskilt när det gäller provtagning för ett stort antal tidssteg. Detta stöds av mänsklig utvärdering av provkvaliteten. Avsättningar mellan professor Forcing och schemalagd provtagning diskuteras. Vi producerar T-SNEs som visar att professor Forcing framgångsrikt gör dynamiken i nätverket under träning och provtagning mer lik.
I stället för att träna modellen med den handgjorda förlusten använde sig vissa forskare av den kontradiktoriska utbildningen för bildtextning, kallad Professor-Forcing REF, som använder kontradiktorisk utbildning för att uppmuntra dynamiken hos RNN:erna att vara densamma som den för utbildning som betingats av tidigare grundord.
Professor Forcing: A New Algorithm for Training Recurrent Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}