Uppifrån-och-ned visuell uppmärksamhet mekanismer har använts i stor utsträckning i bildtextning och visuell frågesvar (VQA) för att möjliggöra djupare bildförståelse genom finkornig analys och även flera steg av resonemang. I detta arbete föreslår vi en kombinerad nedifrån-och-upp-övervakningsmekanism som gör det möjligt att beräkna uppmärksamheten på objektnivå och andra framträdande bildregioner. Detta är den naturliga grunden för att man skall kunna ta hänsyn till uppmärksamheten. Inom vår strategi föreslår bottom-up-mekanismen (baserad på Snabbare R-CNN) bildregioner, var och en med en tillhörande vektor, medan top-down-mekanismen bestämmer funktionsviktningar. Genom att tillämpa denna metod för bildtextning skapar våra resultat på MSCOCO:s testserver ett nytt toppmodernt resultat för uppgiften, vilket förbättrar det bäst publicerade resultatet när det gäller CIDER-poäng från 114.7 till 117.9 och BLEU-4 från 35,2 till 36,9. Påvisar den breda tillämpligheten av metoden, tillämpa samma strategi för VQA vi får första plats i 2017 VQA Challenge.
För att främja uppmärksamhetsmodellen utformades en nedifrån-och-upp-upp-upp-upp-upp-upp-upp-upp-upp-upp-upp-upp-upp-upp-upp-upp-upp-upp-upp-upp-upp-upp-upp-upp-upp-upp-upp-upp-upp-upp-upp-upp-upp-upp-upp-upp-upp-upp-upp-upp-upp-upp-upp-upp-upp-upp-upp-upp-upp-upp-upp-upp-upp-upp-upp-upp-upp-upp-upp-upp-och-upp-upp-upp-upp-upp-upp-upp-upp-upp-och-upp-upp-upp-upp-och-upp-upp-upp-upp-och-upp-upp-upp-upp-upp-och-upp-upp-upp-upp-upp-upp-upp-och-upp-upp-upp-upp-upp-upp-upp-upp-och-upp-upp-upp-upp-upp-upp-upp-upp-upp-upp-upp-upp-upp-upp-upp-upp-och-upp-upp-upp-upp-upp-upp-upp-upp-och-och-upp-och-upp-upp-upp-och-upp-upp-upp-upp-och-upp-upp-upp-upp-upp-upp-och-upp-upp-upp-upp-upp-upp-upp-upp-och-och-upp-upp-upp-upp-upp-upp-upp-upp-upp-upp-upp-upp-upp-och-och-och-och-upp-och-och-upp-upp-och-och-upp-och-och-upp-upp-och-och-upp-och-och-upp-och-upp-upp-och-och-upp-och-och-och-upp-och-och-upp-och-upp-upp-upp-upp-upp-upp-och-och-upp-och-och-upp-upp-upp-upp-upp-upp-upp-upp-upp-upp-upp-upp-och-upp-upp-upp-upp-upp-upp-upp-upp-upp-upp-upp-upp-upp-upp-och-upp-
Bottom-Up and Top-Down Attention for Image Captioning and Visual Question Answering
{'venue': None, 'journal': 'arXiv: Computer Vision and Pattern Recognition', 'mag_field_of_study': ['Computer Science']}