Nuvarande bildtextmetoder tränas vanligen genom maximal sannolikhetsuppskattning. Emellertid korrelerar log-likelihood poäng för en bildtext inte väl med mänskliga bedömningar av kvalitet. Standardvärden för syntaktisk utvärdering, såsom BLEU, METEOR och ROUGE, är inte heller väl korrelerade. De nyare SPICE- och CIDER-måtten är bättre korrelerade, men har traditionellt varit svåra att optimera för. I detta papper visar vi hur man använder en policy gradient (PG) metod för att direkt optimera en linjär kombination av SPICE och CIDER (en kombination vi kallar SPIDER): SPICE score säkerställer att våra bildtexter är semantiskt trogen bilden, medan CIDER score säkerställer att våra bildtexter är syntaktiskt flytande. Den PG metod vi föreslår förbättrar på tidigare MIXER tillvägagångssätt, genom att använda Monte Carlo rollouts i stället för att blanda MLE utbildning med PG. Vi visar empiriskt att vår algoritm leder till enklare optimering och bättre resultat jämfört med MIXER. Slutligen visar vi att med hjälp av vår PG-metod kan vi optimera någon av mätvärdena, inklusive den föreslagna SPIDER metriska som resulterar i bildtexter som starkt föredras av mänskliga taxrar jämfört med bildtexter som genereras av samma modell men tränas för att optimera MLE eller COCO mätvärden.
REF använder en kombination av olika mätvärden som belöning.
Improved Image Captioning via Policy Gradient optimization of SPIDEr
{'venue': '2017 IEEE International Conference on Computer Vision (ICCV)', 'journal': '2017 IEEE International Conference on Computer Vision (ICCV)', 'mag_field_of_study': ['Computer Science']}