Vi föreslår en svagt övervakad strategi som tar bild-sentence par som ingång och lär sig att visuellt mala (dvs lokalisera) godtyckliga språkliga fraser, i form av rumslig uppmärksamhet masker. Modellen är särskilt tränad med bilder och tillhörande bildtexter på bildnivå, utan några explicita region-till-fras-korrespondensanteckningar. I detta syfte introducerar vi en end-to-end modell som lär sig visuella grundläggningar av fraser med två typer av noggrant utformade förlustfunktioner. Förutom den vanliga diskriminativa förlusten, som tvingar fram att bilden regioner och fraser konsekvent kodas, föreslår vi en ny strukturell förlust som använder sig av parse trädstrukturer som orsakas av meningarna. I synnerhet säkerställer vi komplementaritet bland de uppmärksamhetsmasker som motsvarar syskonnominella fraser, och sammansättningen av uppmärksamhet masker bland barn och föräldrar fraser, enligt definitionen i meningen parse träd. Vi validerar effektiviteten i vår strategi för Microsoft COCO och Visual Genome dataset.
Xiao m.fl. REF grundar godtycklig språklig fras i form av rumslig uppmärksamhet mask och föreslår ett nätverk med diskriminerande och strukturell förlust.
Weakly-Supervised Visual Grounding of Phrases with Linguistic Structures
{'venue': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}