Konvolutionella neurala nät (CNN) har visat anmärkningsvärda resultat i den senaste tidens historia. Sådana metoder tenderar att fungera på ett "enhetligt" nedifrån-och-upp feed-forward-sätt. Men praktisk erfarenhet och biologiska bevis talar om för oss att återkoppling spelar en avgörande roll, särskilt för detaljerade rumsliga förståelse uppgifter. Detta arbete utforskar "dubbelriktade" arkitekturer som också resonerar med uppifrån-och-ned-återkoppling: neurala enheter påverkas av både lägre och högre enheter. Vi gör det genom att behandla enheter som rättade latenta variabler i en kvadratisk energifunktion, som kan ses som en hierarkisk rektifierad Gaussian modell (RGs) [39]. Vi visar att RGs kan optimeras med ett kvadratiskt program (QP), som i sin tur kan optimeras med ett återkommande neuralt nätverk (med rektifierade linjära enheter). Detta gör att RGs kan tränas med GPU-optimerad lutning nedstigning. Ur ett teoretiskt perspektiv bidrar RG till att etablera en koppling mellan CNN:er och hierarkiska probabilistiska modeller. Ur ett praktiskt perspektiv, RGs är väl lämpade för detaljerade rumsliga uppgifter som kan dra nytta av top-down resonemang. Vi illustrerar dem på den utmanande uppgiften att nyckelpunkt lokalisering under ocklusioner, där lokala bottom-up bevis kan vara vilseledande. Vi demonstrerar toppmoderna resultat på utmanande riktmärken. Feedforward CNNs Hierarchical Rektified Gaussian Modellbild y Nyckelpunkt Förutsägelser Nyckelpunkt Heatmap bild y
Hu och Ramanan REF tog itu med detta problem genom att använda hierarkiska rättade Gaussian enheter, som gör det möjligt att använda uppifrån-och-ned feedback genom att tillhandahålla hoppa anslutningar mellan skikten i modellen.
Bottom-Up and Top-Down Reasoning with Hierarchical Rectified Gaussians
{'venue': '2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}