Datorseende uppgifter ofta har sida information tillgänglig som är till hjälp för att lösa uppgiften. Till exempel ger kamerans perspektiv (t.ex. kameravinkel och höjd) en ledtråd om utseendet och skalan av människor i scenen. Även om sidoinformation har visat sig vara användbar för att räkna system som använder traditionella handgjorda funktioner, har den inte utnyttjats fullt ut för att räkna system som bygger på djupt lärande. För att införliva den tillgängliga sidoinformationen föreslår vi ett adaptivt konvolutionellt neuralt nätverk (ACNN), där de konvolutionella filtervikterna anpassar sig till det aktuella scensammanhanget via sidoinformationen. I synnerhet modellerar vi filtervikterna som ett lågdimensionellt grenrör, parametriserat av sidoinformationen, inom det högdimensionella utrymmet för filtervikter. Med hjälp av sidoinformation och adaptiva vikter kan ACNN reda ut variationer relaterade till sidoinformationen och extrahera diskriminerande egenskaper relaterade till det aktuella sammanhanget. Eftersom befintliga crowd counting dataset inte innehåller mark-sanning sida information, samlar vi in en ny dataset med mark-sanning kamera vinkel och höjd som sidoinformation. På försök i crowd counting, ACNN förbättrar räkning noggrannhet jämfört med en vanlig CNN med ett liknande antal parametrar. Vi tillämpar även ACNN på bilddekonvolution för att visa dess potentiella effektivitet på andra datorseende applikationer.
Metoden i REF använder sidoinformation som marktruthkameravinkel och höjd för att hjälpa nätverket att lära sig.
Crowd Counting by Adapting Convolutional Neural Networks with Side Information
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}