I den här artikeln tar vi upp hänvisning till uttrycksförståelse: lokalisering av en bildregion som beskrivs av ett naturligt språkuttryck. Medan det senaste arbetet behandlar uttryck som en enda enhet, föreslår vi att de bryts ned i tre modulära komponenter relaterade till motivets utseende, plats och relation till andra objekt. Detta gör att vi flexibelt kan anpassa oss till uttryck som innehåller olika typer av information i en end-to-end-ram. I vår modell, som vi kallar Modular Attention Network (MattNet), används två typer av uppmärksamhet: språkbaserad uppmärksamhet som lär modulens vikter samt den ord/fras uppmärksamhet som varje modul bör fokusera på; och visuell uppmärksamhet som gör det möjligt för ämnes- och relationsmoduler att fokusera på relevanta bildkomponenter. Modulvikter kombinerar poäng från alla tre moduler dynamiskt till en total poäng. Experiment visar att MattNet överträffar tidigare state-of-the-art metoder med stor marginal på både gränsande-box-nivå och pixel-nivå förståelse uppgifter. Demo 1 och kod 2 anges.
REF utvecklade modulärt uppmärksamhetsnätverk, som utnyttjade språkbaserad uppmärksamhet och visuell uppmärksamhet för att lokalisera de relevanta regionerna.
MAttNet: Modular Attention Network for Referring Expression Comprehension
{'venue': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'journal': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'mag_field_of_study': ['Computer Science']}