När AI fortsätter att avancera, mänskliga-AI team är oundvikliga. Framsteg i AI mäts dock rutinmässigt i isolering, utan en människa i slingan. Det är viktigt att jämföra framsteg i AI, inte bara i isolering, men också i termer av hur det översätts till att hjälpa människor att utföra vissa uppgifter, dvs. prestanda mänskliga-AI team. I detta arbete designar vi ett kooperativt spel – GuessWhatto measurement human-AI team performance in the specific context of the AI as a visual conversational agent. Gissa Vilket innebär levande interaktion mellan människan och AI. AI, som vi kallar ALICE, är en bild som människan inte kan se. Efter en kort beskrivning av bilden, de mänskliga frågorna ALTERNAR om denna hemliga bild för att identifiera den från en fast pool av bilder. Vi mäter prestanda hos personal-ALICE laget med antalet gissningar det tar människan att korrekt identifiera den hemliga bilden efter ett fast antal dialogrundor med AL-ICE. Vi jämför prestanda av human-ALICE team för två versioner av ALICE. Våra mänskliga studier tyder på en kontraintuitiv trend - att medan AI-litteratur visar att den ena versionen överträffar den andra när den kombineras med en AI-utfrågare bot, finner vi att denna förbättring i AI-AI prestanda inte översätter till förbättrad människa-AI prestanda. Detta tyder på en obalans mellan benchmarking av AI isolerat och inom ramen för human-AI-team.
REF använde detta spel för att utvärdera visuell konversation agent prestanda.
Evaluating Visual Conversational Agents via Cooperative Human-AI Games
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}