Nyligen har det visat sig att policy-gradient metoder för förstärkning lärande kan användas för att träna djupa endto-end system direkt på icke-differentierbara mätvärden för den uppgift som finns. I det här dokumentet överväger vi problemet med att optimera bildtextsystem med hjälp av förstärkningsinlärning, och visar att genom att noggrant optimera våra system med hjälp av testmåtten för MSCOCO-uppgiften kan betydande resultatvinster realiseras. Våra system är byggda med en ny optimeringsmetod som vi kallar självkritisk sekvensträning (SCST). SCST är en form av den populära RE-INFORCE algoritm som, snarare än att uppskatta en "baslinje" för att normalisera belöningar och minska varians, använder utgången av sin egen test-tid inference algoritm för att normalisera belöningarna den upplever. Med denna metod, uppskatta belöningssignalen (som skådespelare-kritiska metoder måste göra) och uppskatta normalisering (som REINFORCE algoritmer normalt gör) undvikas, samtidigt harmonisera modellen med avseende på dess test-tid inference förfarande. Empiriskt tycker vi att direkt optimera Cider metrisk med SCST och girig avkodning vid test-tid är mycket effektivt. Våra resultat om MSCOCO utvärdering sever etablera en ny state-of-the-art på uppgiften, förbättra det bästa resultatet när det gäller CIDER från 104.9 till 114.7.
Självkritisk sekvensträning (SCST) REF föreslås för bildtextning genom att använda utdata från sin egen test-time inference algoritm för att normalisera de belöningar den upplever.
Self-Critical Sequence Training for Image Captioning
{'venue': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science', 'Mathematics']}