Trots den fenomenala framgången för djupa neurala nätverk i ett brett spektrum av lärande uppgifter, det finns en brist på teori för att förstå hur de fungerar. I synnerhet är Convolutional Neural Networks (CNN) kända för att utföra mycket bättre än Fullt anslutna nätverk (FCN) på rumsligt strukturerade data: den arkitektoniska strukturen av CNNs drar nytta av tidigare kunskap om egenskaperna hos data, till exempel deras översättningsinvariant. Syftet med detta arbete är att förstå detta faktum genom dynamikens lins i förlustlandskapet. Vi introducerar en metod som kartlägger ett CNN till motsvarande FCN (benämns som eFCN). En sådan inbäddning gör det möjligt att jämföra CNN- och FCN-träningsdynamiken direkt i FCN-utrymmet. Vi använder denna metod för att testa ett nytt träningsprotokoll, som består i att träna ett CNN, inbädda det i FCN utrymme vid en viss "switch time" t w, sedan återuppta utbildningen i FCN utrymme. Vi observerar att för alla växlingstider, avvikelsen från CNN subrymden är liten, och den slutliga prestanda som uppnås av eFCN är högre än den som kan nås av standard FCN. Mer förvånande, för vissa mellanliggande switch gånger, eFCN även överträffar CNN det härrör från. Det praktiska intresset för vårt protokoll begränsas av den mycket stora storleken på det mycket glesa eFCN. Men det ger en intressant inblick i uthålligheten i arkitekturens fördomar under den stokastiska gradientdynamiken även i närvaro av ett stort antal ytterligare grader av frihet. Det visar förekomsten av några sällsynta bassänger i FCN utrymme i samband med mycket god generalisering. Dessa kan nås tack vare CNN tidigare, och annars missas. Föravtryck. Under granskning.
Problemet med att "finna nålen i en höstack" genom att jämföra prestanda för fullt anslutna nätverk (FCN) och konvolutionella neurala nätverk (CNN) nyligen övervägdes också av REF för bildigenkänning problem.
Finding the Needle in the Haystack with Convolutions: on the benefits of architectural bias
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Physics', 'Mathematics']}