Vår föreslagna djupövervakade nätmetod (DSN) minimerar samtidigt klassificeringsfelet och gör inlärningsprocessen av dolda lager direkt och transparent. Vi gör ett försök att öka klassificeringsprestandan genom att studera en ny formulering i djupa nätverk. Tre aspekter i konvolutionella neurala nätverk (CNN) stil arkitekturer undersöks: 1) insyn i de mellanliggande skikten till den övergripande klassificeringen; 2) discriminativitet och robusthet av inlärda funktioner, särskilt i de tidiga skikten; 3) effektivitet i utbildning på grund av förekomsten av exploderande och försvinnande gradienter. Vi introducerar "companion mål" till de enskilda dolda skikten, utöver det övergripande målet vid outputskiktet (en annan strategi för skiktvis förträning). Vi utökar tekniker från stokastiska gradientmetoder för att analysera vår algoritm. Fördelen med vår metod är uppenbar och vårt experimentella resultat på referensdatauppsättningar visar betydande resultatvinster jämfört med befintliga metoder (t.ex. Alla de senaste resultaten på MNIST, CIFAR-10, CIFAR-100 och SVHN.
Djupt övervakade nät REF har en åtföljande objektiv funktion för att undvika problemet med försvinnande lutning.
Deeply-Supervised Nets
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}