Traditionella modeller för frågesvar optimera med korsentropi förlust, som uppmuntrar exakta svar på bekostnad av bestraffa närliggande eller överlappande svar som ibland är lika korrekta. Vi föreslår ett blandat mål som kombinerar korsentropiförlust med självkritisk politisk inlärning. Målet använder belöningar som härrör från ordöverlappning för att lösa obalansen mellan utvärderingsmått och optimeringsmål. Förutom det blandade målet förbättrar vi dynamiska nätverk för beläggning (DCN) med en djup kvarvarande beläggningskodare som inspireras av den senaste tidens arbete i djup självuppmärksamhet och kvarvarande nätverk. Våra förslag förbättrar modellens prestanda mellan frågetyper och insatslängder, särskilt för långa frågor som kräver förmåga att fånga långsiktiga beroenden. På Stanford Question Answering Dataset uppnår vår modell toppmoderna resultat med 75,1% exakt matchnoggrannhet och 83,1% F1, medan ensemblen får 78,9% exakt matchnoggrannhet och 86,0% F1.
För modellutbildningen hävdar REF att gränsförlusten uppmuntrar till exakta svar på bekostnad av att bestraffa överlappande svar.
DCN+: Mixed Objective and Deep Residual Coattention for Question Answering
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}