Idag testas datorseendesystem genom deras noggrannhet när det gäller att upptäcka och lokalisera fall av objekt. Som ett alternativ, och motiverat av människans förmåga att ge mycket rikare beskrivningar, även berätta en historia om en bild, konstruerar vi ett "visuell Turing test": en operatörsassisterad enhet som producerar en stokastisk sekvens av binära frågor från en given testbild. Förfrågan motorn föreslår en fråga; operatören antingen ger rätt svar eller förkastar frågan som tvetydig; motorn föreslår nästa fråga ("just-in-time threaking"). Testet administreras sedan till datorvisionssystemet, en fråga i taget. När systemets svar har registrerats får systemet det rätta svaret och nästa fråga. Tolkning är trivialt och deterministiskt; det system som testas kräver ingen behandling av naturligt språk. Förfrågan motorn använder statistiska begränsningar, lärt av en utbildning uppsättning, för att producera frågor med i huvudsak oförutsägbara svar svaret på en fråga, med tanke på historien om frågor och deras korrekta svar, är nästan lika sannolikt att vara positiva eller negativa. I detta avseende handlar testet bara om vision. Systemet är utformat för att producera strömmar av frågor som följer naturliga historia linjer, från ögonblick av ett unikt objekt, genom en undersökning av dess egenskaper, och på dess relationer med andra unikt ögonblickliga objekt. För att åtminstone gå tillbaka till mitten av tjugotalet har det förts en aktiv debatt om framstegen inom artificiell intelligens och hur den skall mätas. Alan Turing [1] föreslog att det slutliga testet av huruvida en maskin kunde "tänka", eller tänka minst lika bra som en person, skulle vara att en mänsklig domare inte kunde avgöra vilken som var vilken som var baserad på samtal i naturligt språk i ett lämpligt dolt scenario. I en mycket omdiskuterad variation (som ibland kallas "standardtolkningen") är målet att mäta hur väl en dator kan imitera en människa [2] i någon begränsad uppgift som normalt förknippas med intelligent beteende, även om den praktiska nyttan av "imitering" som ett kriterium för prestanda också har ifrågasatts [3]. I själva verket har det överväldigande fokus för den moderna AI community varit att bedöma maskinens prestanda mer direkt genom dedikerade tester för specifika uppgifter snarare än att debattera om allmänna "tänkande" eller Turing-liknande tävlingar mellan människor och maskiner. I detta dokument genomför vi ett nytt, frågebaserat test för datorseende, ett av de mest levande områdena inom modern AI-forskning. Genom hela detta papper använder vi "datorseende" mer eller mindre synonymt med semantisk bildtolkning -"bilder till ord". Men naturligtvis omfattar datorseendet många andra aktiviteter; det innefattar teori och praktik av bildbildning ("sensorer till bilder"); bildbehandling ("bilder till bilder"), matematiska representationer; videobehandling; metrisk scenrekonstruktion; och så vidare. Faktum är att det kanske inte är möjligt att tolka scener på semantisk nivå utan att ta hänsyn till åtminstone några av dessa områden, särskilt det geometriska förhållandet mellan en bild och den underliggande 3D-scenen. Men vårt fokus är hur man utvärderar ett system, inte hur man bygger ett. Förutom framgångsrika kommersiella och industriella tillämpningar, såsom ansiktsdetektorer i digitala kameror och feldetektering i tillverkningen, har det också gjorts betydande framsteg i mer generiska uppgifter, såsom att upptäcka och lokalisera fall från flera generiska objekt klasser i vanliga inomhus och utomhus scener, i "fine-grained" klassificering såsom att identifiera växt- och djurarter, och att erkänna attribut för objekt och aktiviteter av människor. Resultaten av utmaningar och tävlingar (se [4, 5] ) tyder på att framsteg har sporrats av stora framsteg i att utforma mer beräkningseffektiva och invarianta bildrepresentationer [6, 7, 8], i stokastisk och hierarkisk modellering [9, 10, 11, 12], i att upptäcka latent struktur genom att träna flerskiktsnätverk med stora mängder oövervakade data [13]; och i delar-baserad statistisk inlärning och modellering tekniker [14, 15, 16], särskilt kombinera diskriminerande deldetektorer med enkla modeller av arrangemang av delar [17]. Helt nyligen har skarpa förbättringar i att upptäcka föremål och relaterade uppgifter gjorts genom att träna konvolutionella neurala nätverk med mycket stora mängder kommenterade data [18, 19, 20, 21, 22]. Mer allmänt ligger maskiner dock mycket långt efter människor i "förståelsebilder" i betydelsen att generera rik semantisk annotation. Till exempel system som försöker hantera ocklusion, sammanhang och oförutsedda arrangemang, som alla hanteras lätt av människor, vanligtvis stöter på problem. Följaktligen är det ingen mening med att utforma en "konkurrens" mellan datorseende och mänsklig vision: att tolka verkliga scener (såsom de i figur 1 ) är praktiskt taget "trivial" (åtminstone enkelt och nästan ögonblickligt) för människor, medan man bygger en "beskrivningsmaskin" att kommentera rådata bilddata förblir en grundläggande utmaning. Vi söker ett kvantitativt mått på hur väl ett datorseendesystem kan tolka vanliga bilder av naturliga scener. Medan vi fokuserar på stadsgator, skulle vårt genomförande lätt kunna utvidgas till andra bildpopulationer och den grundläggande logiken och motivationen förbli densamma. "Score" av vårt test bygger på svaren av ett system under utvärdering på en rad binära frågor om existensen av människor och objekt, deras aktiviteter och attribut, och relationer mellan dem, alla i förhållande till en bild. Vi har valt bildbaserade snarare än scenbaserade frågor (se Scener vs. bilder). Antag att en bild sub-befolkning I har specificerats ("urban street scenes" i Figur 1 ), tillsammans med en "vokabulary" och en motsvarande uppsättning binära frågor (se Ordförråd och frågor). Vår prototyp "Visual Turing test" (VTT) illustreras i figur 2. Frågor ställs sekventiellt till datorseendesystemet med hjälp av I datorseende, liksom inom andra områden av AI, metoderna för utvärdering definierar till stor del den vetenskapliga ansträngningen. De flesta aktuella utvärderingar mäter detektionsnoggrannhet, betonar klassificeringen av regioner enligt objekt från ett fördefinierat bibliotek. Men upptäckt är inte detsamma som förståelse. Vi presenterar här ett annat utvärderingssystem, där en frågemotor förbereder ett skriftligt test ("visual Turing test") som använder binära frågor för att sondera ett systems förmåga att identifiera attribut och relationer förutom att känna igen objekt.
På samma sätt tar REF hänsyn till mallbaserade frågor som genereras från ett fast ordförråd som innehåller objektnamn, objektattribut och samband mellan objekt.
Visual Turing test for computer vision systems
{'venue': 'Proceedings of the National Academy of Sciences of the United States of America', 'journal': 'Proceedings of the National Academy of Sciences of the United States of America', 'mag_field_of_study': ['Computer Science', 'Medicine']}