Problemet med exponeringsbias avser den utbildnings-inferens diskrepans som orsakas av att lärare tvingar i maximal sannolikhet uppskattning (MLE) utbildning för återkommande neurala nätverk språkmodeller (RNNLM). Det har betraktats som ett centralt problem för den naturliga språkgenerationen (NLG) modellutbildning. Även om en hel del algoritmer har föreslagits för att undvika lärare tvinga och därför att ta bort exponering partiskhet, det finns lite arbete som visar hur allvarligt problemet exponering partisk är. I detta arbete, som utgår från definitionen av exponeringsbias, föreslår vi två enkla och intuitiva metoder för att kvantifiera exponeringsbias för MLE-utbildade språkmodeller. Experiment utförs på både syntetiska och verkliga datauppsättningar. Förvånansvärt nog visar våra resultat att antingen exponeringsfördomar är triviala (dvs. inte kan särskiljas från missmatchningen mellan modell och datadistribution), eller inte är så betydande som den antas vara (med ett uppmätt prestationsgap på 3 %). Med detta arbete föreslår vi en ny utvärdering av synen på att lärardrivning eller exponeringsfördomar är en stor nackdel med MLE-utbildning. Språkmodell (LM) är en central modul för naturlig språkgenerering (NLG) uppgifter (Ung et al., 2017) såsom maskinöversättning (Wu et al., 2017), dialog svarsgenerering, bildtextning (Lin et al., 2014), etc. I årtionden har maximal sannolikhetsbedömning (MLE) varit det mest använda målet för LM-utbildning. Det finns dock en populär tro på den naturliga språkbehandling (NLP) community att standard MLE utbildning kommer att orsaka "exponering partisk" och leda till en prestandanedbrytning under test-tid språkgeneration. Problemet med exponeringsbias (Bengio et al., 2015; Ranzato et al., 2016) avser följande diskrepans mellan MLE-modellutbildning och testtidsgenerering för språkmodeller. Under utbildningen förutsäger språkmodellen nästa ord som är betingat av ord som provtagits från distributionen av mark-sanningsdata. Under generationen genererar modellen ord som är beroende av sekvenser som genereras av själva modellen. Men på grund av exponeringen för verkliga data under utbildningen är språkmodellen partisk för att endast prestera bra på mark-sanning historia distribution. Som ett resultat, under generering felen kommer att ackumuleras längs den genererade sekvensen, och den distribution som genereras av modellen kommer att förvrängas. Den påtvingade exponeringen för mark-sanningsdata under utbildningen kallas också "läraren tvingar". För att undvika lärardrivning, många träningsalgoritmer (Bengio et al., 2015; Ranzato et al., 2016; Yu et al., 2016; Zhu et al., 2018; Lu et al., 2018; Lin et al., 2017; Guo et al., 2017; Rajeswar et al., Preprint. Under granskning.
REF kvantifierar ytterligare påverkan på exponeringen genom att använda villkorlig fördelning.
Quantifying Exposure Bias for Neural Language Generation
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}