Vi utvecklar en allmän dualitet mellan neurala nätverk och kompositionskärnor och strävar efter en bättre förståelse för djup inlärning. Vi visar att initiala representationer som genereras av gemensamma slumpmässiga initialiseringar är tillräckligt rika för att uttrycka alla funktioner i det dubbla kärnutrymmet. Därför, även om träningsmålet är svårt att optimera i värsta fall, grundvikterna utgör en bra utgångspunkt för optimering. Vår dubbla syn avslöjar också ett pragmatiskt och estetiskt perspektiv av neurala nätverk och understryker deras uttryckskraft. - Vad är det för fel på dig?
Mer nyligen utforskades en dualitet mellan slumpmässiga neurala nätverk med allmänna arkitekturer och kompositionskärnor av REF.
Toward Deeper Understanding of Neural Networks: The Power of Initialization and a Dual View on Expressivity