I detta dokument föreslår vi ett nytt utbildningsförfarande för bildtextmodeller baserade på policygradientmetoder. Detta gör det möjligt för oss att direkt optimera för måtten av intresse, snarare än att bara maximera sannolikheten för mänskliga skapade bildtexter. Vi visar att genom att optimera för standardmått som BLEU, CIDER, METEOR och ROUGE, kan vi utveckla ett system som förbättrar mätvärdena och rankas först på MSCOCO bildrubriking leaderboard, även om vår CNN-RNN-modell är mycket enklare än toppmoderna modeller. Vi visar vidare att genom att också optimera för den nyligen införda SPICE metrisk, som mäter semantisk kvalitet på bildtexter, kan vi producera ett system som avsevärt överträffar andra metoder mätt genom mänsklig utvärdering. Slutligen visar vi hur vi kan utnyttja extra informationskällor, såsom förträngda bildmärkningsmodeller, för att ytterligare förbättra kvaliteten.
Liu m.fl. I REF föreslogs ett nytt utbildningsförfarande för bildtextmodeller baserade på policygradientmetoder, som direkt optimerar för måtten av intresse, snarare än bara maximerar sannolikheten för mänskliga bildtexter.
Optimization of image description metrics using policy gradient methods
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}