Abstrakt. "Gör maskiner bättre än människor i visuella igenkänningsuppgifter?" För inte så länge sedan skulle denna fråga ha övervägts till och med något provocerande och svaret skulle ha varit tydligt: "Nej". I detta dokument presenterar vi en jämförelse av mänsklig och maskinell prestanda med avseende på notation för multimedia hämtning uppgifter. Utöver nyligen genomförda crowdsourcing-studier i detta avseende rapporterar vi också resultat från två omfattande användarstudier. Totalt ombads 23 deltagare att kommentera mer än 1000 bilder av en referensdatauppsättning, vilket är den hittills mest omfattande studien inom området. Krippendorffs α används för att mäta inter-coder-avtal mellan flera kodare och resultaten jämförs med de bästa maskinresultaten. Studien föregås av en sammanfattning av studier som jämförde mänsklig och maskinell prestanda i olika visuella och akustiska igenkänningsuppgifter. Vi diskuterar resultaten och härleder en metodik för att jämföra maskinprestanda i multimedia annotering uppgifter på mänsklig nivå. Detta gör att vi formellt kan besvara frågan om ett erkännandeproblem kan anses vara löst. Slutligen kommer vi att besvara den första frågan.
En nyare studie REF behandlar frågan om maskiner presterar bättre än människor i visuella igenkänningsuppgifter.
“Are Machines Better Than Humans in Image Tagging?” - A User Study Adds to the Puzzle
{'venue': 'ECIR', 'journal': None, 'mag_field_of_study': ['Computer Science']}