Vi föreslår Scene Graph Auto-Encoder (SGAE) som införlivar språket induktiva fördomar i encoderdecoder bildtextramverk för mer mänskliga-liknande bildtexter. Intuitivt använder vi människor den induktiva fördomsfullheten för att komponera collocations och kontextuell inferens i diskursen. Till exempel, när vi ser förhållandet "person på cykel", är det naturligt att ersätta "on" med "ride" och sluta "person ridning cykel på en väg" även "väg" är inte uppenbart. Därför förväntas utnyttjandet av sådan partiskhet som ett tidigare språk hjälpa de konventionella kodare-dekoder modellerna mindre sannolikt överpassa till dataset partisk och fokusera på resonemang. Specifikt använder vi scenen graf - en riktad graf (G) där en objekt nod är ansluten av adjektiv noder och relation noder - för att representera den komplexa strukturella layouten av både bild (I) och mening (S). I textdomänen använder vi SGAE för att lära oss en ordbok (D) som hjälper till att rekonstruera meningar i S → G → D → S pipeline, där D kodar det önskade språket innan; i vision-språkdomänen använder vi den delade D för att vägleda kodare-dekoder i I → G → D → S pipeline. Tack vare scengrafrepresentationen och den delade ordboken överförs de induktiva fördomarna i princip över olika domäner. Vi validerar effektiviteten av SGAE på den utmanande MS-COCO bildtextriktmärke, t.ex., vår SGAE-baserade en modell uppnår en ny state-of-theart 127,8 CIDER-D på Karpati split, och en konkurrenskraftig 125.5 CIDER-D (c40) på den officiella servern även jämfört med andra ensemble modeller. Koden har gjorts tillgänglig på https://github.com/yangxuntu/SGAE.
Yang m.fl. REF införlivar språkinduktiva fördomar i en GCN-baserad bildtextmodell för att inte bara resonera relationen via GCN utan också representera visuell information i språkdomänen via en scengraf auto-encoder för enklare översättning.
Auto-Encoding Scene Graphs for Image Captioning
{'venue': '2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}