Vi studerar multi-round svarsgenerering i visuella dialogsystem, där ett svar genereras enligt en visuellt förankrad konversationshistorik. Med tanke på en trilling: en bild, Q&A-historik och aktuell fråga, följer alla förhärskande metoder ett codec-sätt (dvs. kodare-dekoder) i det övervakade inlärningsparadigmet: en multimodal kodare kodar triolen till en funktionsvektor, som sedan matas in i dekodern för den nuvarande svarsgenerationen, som övervakas av mark-sanningen svaret. Detta konventionella övervakade lärande tar dock inte hänsyn till effekten av ofullständig historia i den kodade utbildningen, vilket bryter mot den konversationella karaktären av visuell dialog och därmed gör codec mer benägna att lära sig dataset partisk men inte visuellt resonemang. I detta syfte föreslår vi ett nytt utbildningsparadigm som kallas Gold-Critic Sequence Training (GCST), inspirerat av den taktiska politiken för att förstärka lärandet. Specifikt, vi tvingar avsiktligt fel svar i historien, få en negativ belöning, och se hur det historiska felet påverkar codec framtida beteende genom att subtrahera den guld-kritiska baslinje -reward erhålls genom att använda mark-sanning historia - från den negativa belöningen. För att göra codecen mer känslig för historien föreslår vi dessutom ett nytt uppmärksamhetsnätverk som heter Recurrent Co-Attention Network (RCAN) och som effektivt kan utbildas med hjälp av GCST. Experimentella resultat på tre riktmärken: VisDial0.9 & 1.0 och GissaVad?!, visa att den föreslagna GCST strategi konsekvent överträffar över state-of-t heart övervakade motparter under alla mått.
REF introducerar falska reaktioner i dialoghistorien för en negativ kritik av det historiska felet.
Making History Matter: Gold-Critic Sequence Training for Visual Dialog
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}