Vi introducerar en slutledningsteknik för att producera discriminativa sammanhangsmedvetna bildtexter (rubriker som beskriver skillnader mellan bilder eller visuella begrepp) med endast generiska sammanhangsagnostiska träningsdata (rubriker som beskriver ett begrepp eller en bild isolerat). Till exempel, givna bilder och bildtexter av "siaskatt" och "tigerkatt", skapar vi språk som beskriver "siaskatten" på ett sätt som skiljer den från "tigerkatten". Vår viktigaste nyhet är att vi visar hur man gör gemensam slutledning över en språkmodell som är kontext-agnostisk och en lyssnare som skiljer nära relaterade begrepp. Vi tillämpar först vår teknik på en motiveringsuppgift, nämligen att beskriva varför en bild innehåller en särskild finkornig kategori i motsats till en annan nära relaterad kategori i CUB-200-2011-datasetet. Vi studerar sedan discriminativ bildtextning för att generera språk som unikt hänvisar till en av två semantiskt liknande bilder i COCO dataset. Utvärderingar med diskriminerande grundsanning för motivering och mänskliga studier för diskriminerande bildtextning visar att vårt tillvägagångssätt överträffar grundläggande generativa och högtalarlyssnande metoder för diskriminering.
Vedantam m.fl. REF införde en slutledningsteknik för att producera discriminativa sammanhangsmedvetna bildtexter med hjälp av generiska sammanhangsagnostiska träningsdata, men med en annan problematik än vår.
Context-Aware Captions from Context-Agnostic Supervision
{'venue': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}