Automatiserad scentolkning har gynnats av framsteg inom maskininlärning, och begränsade uppgifter, såsom ansiktsdetektering, har lösts med tillräcklig noggrannhet för begränsade inställningar. Men prestandan hos maskiner för att ge rika semantiska beskrivningar av naturliga scener från digitala bilder är fortfarande mycket begränsad och enormt underlägsen människors. Här kvantifierar vi detta "semantiska gap" i en viss miljö: Vi jämför effektiviteten av mänskligt lärande och maskininlärning i att tilldela en bild till en av två kategorier som bestäms av den rumsliga arrangemanget av ingående delar. Bilderna är inte verkliga, men reglerna för kategoridefinition återspeglar sammansättningen av verkliga bilder och den typ av "resonemang" som verkar vara nödvändig för semantisk tolkning. Experiment visar att människor förstår de separerande principerna från en handfull exempel, medan felfrekvenserna i datorprogram varierar kraftigt och ligger långt efter människors, även efter att ha exponerats för tusentals exempel. Dessa observationer ger stöd till aktuella trender i datorseendet såsom integrering av maskininlärning med delbaserad modellering. abstrakt resonemang  med mänskligt lärande  på mönsterigenkänning I mage tolkning, ansträngningslös och ögonblicklig för människor, förblir en grundläggande utmaning för artificiell intelligens. Målet är att bygga en "beskrivningsmaskin" som automatiskt antecknar en scen från bilddata, upptäcka och beskriva objekt, relationer och sammanhang. Det är allmänt erkänt att det inte är möjligt att bygga en sådan maskin med nuvarande metod, åtminstone inte när man mäter framgång mot mänsklig prestanda. Vissa välomskurna problem har lösts med tillräcklig hastighet och noggrannhet för verkliga tillämpningar. Nästan varje digitalkamera på marknaden idag bär en ansiktsdetektionsalgoritm som gör att man kan justera fokus efter närvaron av människor i scenen; och maskinseende system känner rutinmässigt igen brister i tillverkning, handskrivna tecken, och andra visuella mönster i kontrollerade industriella miljöer. Sådana fall inbegriper dock vanligtvis ett enda kvasi-rigid objekt eller ett arrangemang av några urskiljbara delar och visar därför inte många av komplikationerna av fullskalig "scen förståelse". Dessutom kräver hög noggrannhet vanligtvis intensiv "utbildning" med gigantiska mängder data. System som försöker hantera flera objekt kategorier, hög intraklass variabilitet, ocklusion, sammanhang, och oförutsedda arrangemang, som alla hanteras lätt av människor, vanligtvis fungerar dåligt. Sådan visuell komplexitet verkar kräva en form av globalt resonemang som avslöjar mönster och genererar högnivåhypoteser från lokala mätningar och tidigare världskunskap. För att gå längre än allmänna observationer och spekulationer har vi utformat ett kontrollerat experiment för att mäta skillnaden i prestanda mellan datorprogram och mänskliga ämnen. Syntetiskt visuellt resonansprov (SVRT) är en serie av 23 klassificeringsproblem med bilder av slumpmässigt genererade former; se bild. 1................................................................ Medan många faktorer påverkar prestandan hos både maskiner och människor i att analysera verkliga bilder, SVRT är utformad för att fokusera på en i synnerhet-abstrakt resonemang. Som ett resultat har vi avsiktligt tagit bort många av de subtasks och komplikationer som uppstått i tolkning bilder förvärvade från naturliga scener: Det finns ingen anledning att känna igen naturliga objekt eller att redogöra för volym, belysning, textur, skugga, eller buller. Dessutom, att vara plana och slumpmässigt genererade, formerna är "okända" för människor, vilket förbättrar vår fördel jämfört med maskiner på grund av omfattande erfarenhet av vardagliga objekt och en tredimensionell värld. För varje problem finns det två separata "kategorier" av bilder. Bilda. 1 visar ett exempel från varje kategori för åtta av de 23 problemen. Klassificeringen sker på relationsnivå, inte på individuell nivå; skillnaden mellan de två kategorierna består av en kompositionell "regel". Flera av dessa regler illustreras i bild. 1, inklusive "inom", "mellan", och "samma". För varje kategori i varje problem kan vi generera så många exempel på bilder som önskas. Formellt definieras i själva verket varje kategori av en sannolikhetsfördelning över bilder (se Metoder), och att generera en bild från kategorin innebär att kalla ett datorprogram för att ta prover från motsvarande distribution. Att bedöma hur väl maskiner kan prestera är mindre enkelt än med människor. Datorseende stöder en mängd olika konkurrerande paradigm (se Diskussion). En metod är övervakad och ostrukturerad maskininlärning: ett datorprogram vars indata är en given uppsättning bilder tillsammans med deras sanna etiketter och vars utdata är en beslutsregel för märkning av en ny bild (se Metoder). Detta tillvägagångssätt står för många av framgångssagorna i datorseendet (t.ex., mobilansiktsdetektorer). Andra framträdande strategier för att bygga bildtolkningsmaskiner inkluderar konstruktion av stokastiska, generativa bildmodeller, sannolikhetsbaserad statistisk slutledning, och design av biologiskt inspirerade hierarkiska modeller, liksom många hybrider av sådana modeller och maskininlärning (se Diskussion). Vårt mål här är att se vad "off-the-shelf" maskininlärning teknik kan göra-namely, metoder som inte kräver anpassad inställning för SVRT. Vi är intresserade av både noggrannhet och lärande effektivitet, vilket innebär antalet träningsexempel som krävs för att antingen "gripa regeln" (för människor) eller nå en given nivå av noggrannhet (maskiner). För vart och ett av de 23 problemen är målet att tilldela en observerad 128 × 128 binärbild I till en av två kategorier. Ur ett mänskligt perspektiv är SVRT utformad så att de två kategorierna kan separeras perfekt när den underliggande regeln är förstådd. Se Metoder för de tekniska definitionerna av kategorierna i samband med statistisk inlärning.
Nya verk inkluderar uppgiften uppsättningen av Fleuret et al. REF, där de fokuserar på det rumsliga arrangemanget av abstrakta element i syntetiska bilder.
Comparing machines and humans on a visual categorization test
{'venue': 'Proceedings of the National Academy of Sciences of the United States of America', 'journal': 'Proceedings of the National Academy of Sciences of the United States of America', 'mag_field_of_study': ['Computer Science', 'Medicine']}