Nya resultat tyder på att toppmoderna solida modeller fungerar långt ifrån optimalt när det gäller att förutsäga fixeringar. Denna brist på prestanda har tillskrivits en oförmåga att modellera påverkan av högkvalitativa bildfunktioner såsom objekt. Nya seminala framsteg i att tillämpa djupa neurala nätverk till uppgifter som objektigenkänning tyder på att de är i stånd att fånga denna typ av struktur. Den enorma mängd utbildningsdata som krävs för att utbilda dessa nätverk gör det dock svårt att tillämpa dem direkt på prognoser om hållfasthet. Vi presenterar ett nytt sätt att återanvända befintliga neurala nätverk som har förträngts på uppgiften av objektigenkänning i modeller av fixering förutsägelse. Med hjälp av det välkända nätverket av Krizhevsky et al., 2012, kommer vi fram till en ny lönemodell som avsevärt överträffar alla toppmoderna modeller på MIT Saliency Benchmark. Vi visar att strukturen i detta nätverk tillåter nya insikter i den psykofysik av fixering val och potentiellt deras neural implementation. För att utbilda vårt nätverk bygger vi på det senaste arbetet med modellering av soliditet som punktprocesser. Genom att förstå hur människor väljer ögonfixeringar kan vi hoppas kunna förstå och förklara mänskligt beteende i ett antal visionsrelaterade uppgifter. Av denna anledning har mänskliga ögonrörelser studerats i mer än 80 år (t.ex., Buswell, 1935). Under de senaste 20 åren har många modeller utvecklats för att försöka förklara fixeringar i termer av så kallade "salienskartor". Nyligen har det föreslagits att modellera saliency maps probabilistically med punktprocesser (Barthelmé et al., 2013) och att utvärdera dem med hjälp av loglikelihood (Kümmerer et al., 2014). Denna utvärdering visade att toppmoderna modeller av saliency förklarar endast en tredjedel av den förklarande informationen i den rumsliga fixeringsstrukturen (Kümmerer et al., 2014). De flesta av de befintliga modellerna använder lågnivåsignaler som kantdetektorer och färgfilter (Itti et al., 1998)
För att ta itu med detta problem, Kümmerer m.fl. REF presenterar ett sätt att återanvända befintliga neurala nätverk, utbildade för bildklassificering, för att förutsäga fixeringskartor.
Deep Gaze I: Boosting Saliency Prediction with Feature Maps Trained on ImageNet
{'venue': 'ICLR 2015', 'journal': 'arXiv: Computer Vision and Pattern Recognition', 'mag_field_of_study': ['Computer Science', 'Biology', 'Mathematics']}