En stor samling av tidigare modeller för att förutsäga var människor tittar i naturliga scener fokuserad på pixel-nivå bildattribut. För att överbrygga den semantiska klyftan mellan den prediktiva kraften hos beräkningsmodeller och mänskligt beteende föreslår vi en ny Saliency-arkitektur som innehåller information på tre lager: bildattribut på pixelnivå, attribut på objektnivå och attribut på semantiknivå. Objekt-och semantisk nivå information ignoreras ofta, eller bara ett fåtal urval objekt kategorier diskuteras där skalning till ett stort antal objekt kategorier är inte möjligt eller neuralt rimlig. För att ta itu med detta problem konstruerar detta verk en principiell vokabulär av grundläggande attribut för att beskriva objekt- och semantisk-nivå information och därmed inte begränsa till ett begränsat antal objektkategorier. Vi bygger en ny datauppsättning på 700 bilder med eyetracking data från 15 tittare och annoteringsdata på 5,551 segmenterade objekt med fina konturer och 12 semantiska attribut (offentligt tillgängliga med papperet). Experimentella resultat visar betydelsen av informationen på objekt- och semantisk nivå i förutsägelsen om visuell uppmärksamhet.
För att ta itu med detta har Xu et al. undersökt kategori- och semantiknivåinformationens roll i en stor databas över objekt. Hoppa över det.
Predicting human gaze beyond pixels
{'venue': 'Journal of vision', 'journal': 'Journal of vision', 'mag_field_of_study': ['Psychology', 'Medicine']}