Människor kopplar samman språk och visioner för att uppfatta världen. Hur bygger man en liknande anslutning för datorer? Ett möjligt sätt är via visuella begrepp, som är texttermer som relaterar till visuellt diskriminerande enheter. Vi föreslår en automatisk visuell konceptupptäcktsalgoritm med parallelltext och visuell korpora; den filtrerar texttermer baserat på den visuella discriminativa kraften hos de tillhörande bilderna, och grupperar dem till begrepp med visuella och semantiska likheter. Vi illustrerar tillämpningarna av de upptäckta koncepten med hjälp av dubbelriktad bild- och meningssökningsuppgift och bildmärkningsuppgift, och visar att de upptäckta koncepten inte bara överträffar flera stora uppsättningar manuellt valda begrepp avsevärt, utan också uppnår den senaste prestandan i hämtningsuppgiften. * Detta arbete utfördes när Chuang Gan var gästforskare vid University of Southern California.
REF tillämpar omfattande NLP-tolkningsmetoder (t.ex. unigramtermer och grammatiska relationer) för att extrahera begrepp som följaktligen filtreras av den diskriminerande kraften hos visuella signaler och grupperas av gemensamma visuella och semantiska likheter.
Automatic Concept Discovery from Parallel Text and Visual Corpora
{'venue': '2015 IEEE International Conference on Computer Vision (ICCV)', 'journal': '2015 IEEE International Conference on Computer Vision (ICCV)', 'mag_field_of_study': ['Computer Science']}