Vilken färg har stolen? Likt en ljus burgundy Brown White har vit rutig En ljusbrun gråbrun med vit struktur Grå En man som sitter i en stol och håller ett barn som tuggar på en fjärrbild 1: Olika svar som genereras av FLIPDIAL i enkelriktad visuell dialog (1VD) uppgift. För ett givet steg (rad) visar varje kolumn ett genererat svar på den aktuella frågan. Svar erhålls genom avkodning en latent z i prov från villkorade föregående - med villkor som bilden, bildtext och dialog historia fram till den tiden steg. Vi presenterar FLIPDIAL, en generativ modell för visuell dialog som samtidigt spelar rollen av båda deltagarna i en visuellt grundad dialog. Med tanke på sammanhanget i form av en bild och en tillhörande bildtext som sammanfattar bildens innehåll, lär sig FLIPDIAL både att svara på frågor och ställa frågor, som kan generera hela sekvenser av dialog (fråga-svar par) som är olika och relevanta för bilden. För att göra detta, FLIPDIAL förlitar sig på en enkel men förvånansvärt kraftfull idé: det använder konvolutionella neurala nätverk (CNN) för att koda hela dialoger direkt, implicit fånga dialog sammanhang, och villkorliga VAEs att lära sig den generativa modellen. FLIPDIAL överträffar den toppmoderna modellen i den sekventiella svarsuppgiften (1VD) på VisDial-datauppsättningen med 5 poäng i Mean Rank med hjälp av de genererade svaren. Vi är de första som utvidgar detta paradigm till en fullständig tvåvägs visuell dialog (2VD), där vår modell kan generera både frågor och svar i följd baserat på en visuell ingång, där vi föreslår en uppsättning nya utvärderingsåtgärder och mätvärden.
REF föreslår FLIPDIAL-modellen, en generativ convolutional modell för visuell dialog som kan generera svar samt generera frågor baserade på ett visuellt sammanhang.
FLIPDIAL: A Generative Model for Two-Way Visual Dialogue
{'venue': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'journal': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'mag_field_of_study': ['Computer Science']}