: Utförandet av djupa nätverk som är utbildade för datorseende på hög nivå, t.ex. klassificeringar som försämrar under buller, oskärpa och andra brister som förekommer i rådata sensordata. (vänster) En bild av gelébönor som korrumperas av buller som är karakteristiskt för lågljusförhållanden är felaktigt klassificerad som ett bibliotek av klassificeringsnätverket Inception-v4. Rengöring av rådata med konventionell bildbehandling på låg nivå förbättrar inte nödvändigtvis prestandan. (Center) Bilden denoiseras med BM3D är fortfarande felklassificerad, nu som en varuautomat. Vi föreslår en end-to-end differential arkitektur för gemensam denoisering, deblurring och klassificering som gör klassificering robust till realistiska buller och suddig. Den föreslagna arkitekturen lär sig en denoiserande pipeline optimerad för klassificering som förbättrar fin detalj på bekostnad av mer buller och artefakter. (Rätt) Den lärda denoiser återvinner gelébönan textur, och bilden är korrekt klassificeras i kategorin "konfektion". Den föreslagna arkitekturen har en principiell och modulär design inspirerad av formella optimeringsmetoder som generaliserar till andra kombinationer av bildformationsmodeller och datorseende uppgifter på hög nivå. Real-world sensorer lider av buller, oskärpa och andra brister som gör hög nivå datorseende uppgifter som scen segmentering, spårning och scen förståelse svårt. Att göra högkvalitativa datorvisionsnätverk robusta är absolut nödvändigt för verkliga applikationer som autonom körning, robotik och övervakning. Vi föreslår en ny end-to-end differential arkitektur för gemensam denoisering, deblurring och klassificering som gör klassificering robust till realistiska buller och suddig. Den föreslagna arkitekturen förbättrar dramatiskt noggrannheten hos ett klassificeringsnätverk i svagt ljus och andra utmanande förhållanden, överträffar alternativa metoder såsom omskolning av nätverket på bullriga och suddiga bilder och förbehandling av råa sensoringångar med konventionella denoiserande och deblurringsalgoritmer. Arkitekturen lär sig denoising och deblurring pipelines optimerade för klassificering vars utgångar skiljer sig markant från de av toppmoderna denoising och deblurring metoder, bevara fin detalj på bekostnad av mer buller och artefakter. Våra resultat tyder på att den bästa bildbehandling på låg nivå för datorseende skiljer sig från befintliga algoritmer utformade för att producera visuellt tilltalande bilder. De principer som används för att utforma den föreslagna arkitekturen utsträcker sig lätt till andra datorseendeuppgifter på hög nivå och modeller för bildbildning, vilket ger en allmän ram för integrering av bildbehandling på låg nivå och hög nivå.
För att förbättra robustheten hos maskininlärningsmodeller för inmatningsstörningar föreslås en end-to-end-arkitektur i REF för gemensam denoisering, deblurring och klassificering.
Dirty Pixels: Optimizing Image Classification Architectures for Raw Sensor Data
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}