Abstrakt. RNN och deras varianter har i stor utsträckning antagits för bildtextning. I RNN drivs produktionen av en bildtext av en sekvens av latenta tillstånd. Befintliga bildtextmodeller representerar vanligtvis latenta tillstånd som vektorer och tar denna praxis för given. Vi omprövar detta val och studerar en alternativ formulering, nämligen att använda tvådimensionella kartor för att koda latenta tillstånd. Detta motiveras av nyfikenheten kring en fråga: hur de rumsliga strukturerna i latenta tillstånd påverkar de resulterande bildtexterna? Vår studie om MSCOCO och Flickr30k leder till två viktiga observationer. För det första är formuleringen med 2D-tillstånd i allmänhet mer effektiv när det gäller rubrikering, och uppnår konsekvent högre prestanda med jämförbara parameterstorlekar. För det andra, 2D-stater bevara rumslig lokalitet. Med fördel av detta avslöjar vi visuellt den inre dynamiken i processen för bildtextgenerering, liksom kopplingarna mellan indata visuell domän och utdata språklig domän.
Dai et al REF omformulerade latenta tillstånd som 2D-kartor för att bättre fånga den semantiska informationen i indatabilden.
Rethinking the Form of Latent States in Image Captioning
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}