När människor får välja vad de ska märka i en bild, tillämpar de sina egna subjektiva bedömningar på vad de ska ignorera och vad de ska nämna. Vi hänvisar till dessa högljudda "mänskliga-centrerade" kommentarer som uppvisar mänskliga rapporteringsfördomar. Exempel på sådana noteringar är bildtaggar och nyckelord som finns på fotodelningsplatser, eller i datauppsättningar som innehåller bildtexter. I den här tidningen använder vi dessa bullriga kommentarer för att lära oss visuellt korrekta bildsorter. Sådana kommentarer använder inte konsekvent ordförråd, och missa en betydande mängd av den information som finns i en bild, men vi visar att buller i dessa anteckningar uppvisar struktur och kan modelleras. Vi föreslår en algoritm för att koppla bort den mänskliga rapporteringen från de korrekta visuellt jordade etiketterna. Våra resultat är mycket tolkningsbara för att rapportera "vad som finns i bilden" kontra "vad som är värt att säga". Vi demonstrerar algoritmens effektivitet längs en mängd olika mätvärden och datauppsättningar, inklusive MS COCO och Yahoo Flickr 100M. Vi visar betydande förbättringar jämfört med traditionella algoritmer för både bildklassificering och bildtextning, vilket i vissa fall fördubblar prestandan hos befintliga metoder.
I bilddomänen, REF-modellerad mänsklig rapportering bias på urvalsnivå klassificeringsetiketter.
Seeing through the Human Reporting Bias: Visual Classifiers from Noisy Human-Centric Labels
{'venue': '2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}