Två nya metoder har lett till toppmoderna resultat när det gäller bildtext. Den första använder en rörledningsprocess där en uppsättning kandidatord genereras av ett konvolutionellt neuralt nätverk (CNN) tränas på bilder, och sedan en maximal entropi (ME) språkmodell används för att arrangera dessa ord i en sammanhängande mening. Den andra använder det näst sista aktiveringsskiktet av CNN som ingång till ett återkommande neuralt nätverk (RNN) som sedan genererar bildtextsekvensen. I detta dokument jämför vi för första gången fördelarna med dessa olika språkmodelleringsmetoder genom att använda samma toppmoderna CNN som indata. Vi undersöker frågor i de olika tillvägagångssätten, inklusive språkliga oegentligheter, upprepning av rubrik och överlappning av data. Genom att kombinera centrala aspekter av ME- och RNN-metoderna uppnår vi en ny rekordprestanda jämfört med tidigare publicerade resultat på COCO-datauppsättningen. Men de vinster vi ser i BLEU översätts inte till mänskliga domar.
Devlin m.fl. REF kombinerade både maximal entropi (ME) språkmodell och RNN för att generera bildtexter.
Language Models for Image Captioning: The Quirks and What Works
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}