Medan de senaste djupa neurala nätverk modeller har uppnått lovande resultat på bilden bildtextning uppgift, de förlitar sig till stor del på tillgängligheten av corpora med parad bild och mening bildtexter för att beskriva objekt i sammanhang. I detta arbete föreslår vi Deep Compositional Captioner (DCC) för att ta itu med uppgiften att generera beskrivningar av nya objekt som inte finns i parade bilderentence dataset. Vår metod uppnår detta genom att utnyttja stora objektigenkänningsdata och externa textkorpora och genom att överföra kunskap mellan semantiskt likartade begrepp. Nuvarande djuptextmodeller kan bara beskriva objekt som ingår i parade bild-sentence corpora, trots att de är förtränade med stora objektigenkänningsdata, nämligen ImageNet. Däremot kan vår modell komponera meningar som beskriver nya objekt och deras interaktioner med andra objekt. Vi demonstrerar vår modells förmåga att beskriva nya koncept genom att empiriskt utvärdera dess prestanda på MSCOCO och visa kvalitativa resultat på ImageNet bilder av objekt för vilka inga parade bild-sentence data finns. Vidare utökar vi vårt tillvägagångssätt för att generera beskrivningar av objekt i videoklipp. Våra resultat visar att DCC har tydliga fördelar jämfört med befintliga bild- och videotextningsmetoder för att generera beskrivningar av nya objekt i sammanhang.
Däremot presenterar REF Deep Compositional Captioner (DCC) som använder den till stor del tillgängliga oparade bild- och textdata (t.ex. ImageNet och Wikipedia) för att underlätta ny objekttextning.
Deep Compositional Captioning: Describing Novel Object Categories without Paired Training Data
{'venue': '2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}