Traditionellt hanteras bilddenoiserande och visionsarbete på hög nivå separat i datorseendet, och deras anslutning är bräcklig. I detta dokument hanterar vi de två gemensamt och undersöker det ömsesidiga inflytandet mellan dem med fokus på två frågor, nämligen 1) hur denoisering av bilden kan bidra till att lösa synproblem på hög nivå, och 2) hur den semantiska informationen från högnivåseende kan användas för att styra bildens denoisering. Först föreslår vi ett djupt konvolutionellt neuralt nätverk för bilddenoisering som kan överträffa state-of-the-art. För det andra föreslår vi en djup neural nätverk lösning som kaskader två moduler för bild denoiserande respektive olika hög nivå uppgifter, respektive, och föreslår användningen av ledförlust för att uppdatera endast denoiserande nätverket för att tillåta semantisk information som flödar in i optimeringen av det denoiserande nätverket via back-propagation. Våra experimentella resultat visar att den föreslagna arkitekturen å ena sidan kan övervinna prestandanedbrytningen av olika visionsuppgifter på hög nivå, t.ex. bildklassificering och semantisk segmentering, på grund av bildbuller eller artefakter orsakade av konventionella denoiserande metoder såsom översmoothing. Å andra sidan kan det denoiserande nätverket, med vägledning av högnivåinformation, ytterligare bevara finare detaljer och generera mer visuellt tilltalande resultat. Såvitt vi vet är detta det första arbetet med att systematiskt undersöka nyttan med att använda visionsemantik på hög nivå för att denoisera bilden via djupinlärning.
Ref presenterade en systematisk studie om det ömsesidiga inflytandet mellan lågnivå- och högnivåvisionsnätverken.
When Image Denoising Meets High-Level Vision Tasks: A Deep Learning Approach
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}