Vi presenterar Gissa vad?!, en två-spelare gissning spel som en testbädd för forskning om samspelet mellan datorseende och dialogsystem. Målet med spelet är att lokalisera ett okänt objekt i en rik bildscen genom att ställa en sekvens av frågor. Bildförståelse på högre nivå, såsom rumsligt resonemang och språkbaserad grundläggning, krävs för att lösa den föreslagna uppgiften. Vårt viktigaste bidrag är insamlingen av ett storskaligt dataset bestående av 150K människospel med totalt 800K visuella frågesvarspar på 66K-bilder. Vi förklarar våra designbeslut i insamlingen av datasetet och introducerar oraklet och frågeställaren uppgifter som är förknippade med de två spelarna i spelet. Vi tog fram modeller för djupinlärning för att fastställa de initiala baslinjerna för de införda uppgifterna.
de REF introducerade "Gissa vad?!", ett tvåspelarspel där målet är att hitta ett okänt objekt i en rik bildscen genom att ställa en rad frågor.
GuessWhat?! Visual Object Discovery through Multi-modal Dialogue
{'venue': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}