Vi introducerar ett nytt ramverk för bildtextning som kan producera naturligt språk uttryckligen grundat i enheter som objektdetektorer hittar i bilden. Vår strategi förenar klassiska slot fyllning metoder (som i allmänhet är bättre jordade i bilder) med moderna neurala bildtexter metoder (som i allmänhet är mer naturligt klingande och korrekt). Vår strategi genererar först en mening "mall" med ankomst- och avgångstider som uttryckligen är knutna till specifika bildregioner. Dessa spår fylls sedan i med visuella begrepp som i regionerna identifieras med objektdetektorer. Hela arkitekturen (entens mallgenerering och slot fyllning med objekt detektorer) är end-to-end differentiable. Vi verifierar effektiviteten i vår föreslagna modell på olika bildtexter uppgifter. På standardbildtextning och ny objekttextning når vår modell toppmoderna datauppsättningar på både COCO och Flickr30k. Vi visar också att vår modell har unika fördelar när tåg- och testdistributionerna av scenkompositioner - och därmed språkförebilder av tillhörande bildtexter - är olika.
Lu m.fl. I REF föreslogs en ram för slot-and-fill för bildtextning som kan producera naturligt språk som uttryckligen har sin grund i enheter.
Neural Baby Talk
{'venue': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'journal': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'mag_field_of_study': ['Computer Science']}