Abstrakt. Vi presenterar en interaktiv, hybrid människa-dator metod för objektklassificering. Metoden gäller för klasser av föremål som är igenkännliga av personer med lämplig expertis (t.ex. djurarter eller flygplansmodell), men inte (i allmänhet) av människor utan sådan expertis. Det kan ses som en visuell version av 20 frågor spelet, där frågor baserade på enkla visuella attribut poseras interaktivt. Målet är att identifiera den sanna klassen samtidigt minimera antalet frågor, med hjälp av det visuella innehållet i bilden. Vi introducerar en allmän ram för att införliva nästan alla off-the-shelf multi-class objektigenkänningsalgoritm i det visuella 20 frågor spelet, och tillhandahålla metoder för att redogöra för bristfälliga användarsvar och opålitliga datorseende algoritmer. Vi utvärderar våra metoder på Birds-200, en svår datauppsättning av 200 tätt relaterade fågelarter, och på Animals With Attribut dataset. Våra resultat visar att inkorporering av användarinmatning driver upp igenkänningsnoggrannheten till nivåer som är tillräckligt bra för praktiska tillämpningar, samtidigt som datorseendet minskar mängden mänsklig interaktion som krävs.
REF använder en sådan interaktiv metod för objektklassificering och utvärderar den på djuren med attributdatabas.
Visual recognition with humans in the loop
{'venue': 'In ECCV', 'journal': None, 'mag_field_of_study': ['Computer Science']}