Befintliga metoder för interaktiv bildsökning har visat fördelarna med att integrera feedback från användare och förbättra hämtningsresultaten. De flesta nuvarande system är dock beroende av begränsade former av feedback från användare, såsom binära relevanssvar, eller återkoppling baserad på en fast uppsättning relativa attribut, som begränsar deras inverkan. I detta dokument introducerar vi en ny strategi för interaktiv bildsökning som gör det möjligt för användare att ge feedback via naturligt språk, vilket möjliggör en mer naturlig och effektiv interaktion. Vi formulerar uppgiften dialogbaserad interaktiv bildsökning som ett förstärkande inlärningsproblem, och belönar dialogsystemet för att förbättra rangen av målbilden under varje dialogsväng. För att minska den besvärliga och kostsamma processen att samla in samtal mellan människor och maskiner som dialogsystemet lär sig, utbildar vi vårt system med en användarsimulator, som själv är tränad för att beskriva skillnaderna mellan mål- och kandidatbilder. Effektiviteten i vårt tillvägagångssätt visas i en ansökan om skohämtning. Experiment på både simulerade och verkliga data visar att 1) vårt föreslagna inlärningsramverk uppnår bättre noggrannhet än andra övervakade och förstärka lärande baslinjer och 2) användarfeedback baserad på naturligt språk snarare än förspecificerade attribut leder till effektivare hämtningsresultat, och ett mer naturligt och uttrycksfullt kommunikationsgränssnitt.
Parallellt med vårt arbete är dialogbaserad interaktiv bildsökning REF, där Guo et al. visade lovande resultat på simulerad användar- och verkliga användarstudie.
Dialog-based Interactive Image Retrieval
{'venue': 'NeurIPS', 'journal': None, 'mag_field_of_study': ['Computer Science']}