Nyligen har en rad papper gett positiva teoretiska resultat för utbildning överparameteriserade neurala nätverk (där nätverkets storlek är större än vad som krävs för att uppnå låga fel). Nyckelinsikten är att med tillräcklig överparameterisering kommer gradientbaserade metoder implicit att lämna vissa komponenter i nätverket relativt oförändrade, så optimeringsdynamiken kommer att bete sig som om dessa komponenter i huvudsak är fast vid sina ursprungliga slumpmässiga värden. I själva verket leder fastställandet av dessa uttryckligen till det välkända sättet att lära sig med slumpmässiga egenskaper (t.ex. [22, 24]........................................................................................................... Med andra ord, dessa tekniker innebär att vi framgångsrikt kan lära oss med neurala nätverk, när vi framgångsrikt kan lära med slumpmässiga funktioner. I detta dokument granskar vi först dessa tekniker, vilket ger en enkel och fristående analys för nätverk i ett lager. Vi hävdar sedan att trots de imponerande positiva resultaten, är slumpmässiga drag metoder också i sig begränsade i vad de kan förklara. I synnerhet visar vi rigoröst att slumpmässiga funktioner inte kan användas för att lära sig ens en enda ReLU-neuron med vanliga Gaussiska ingångar, om inte nätverksstorleken (eller storleken på vikterna) är exponentiellt stor. Eftersom en enda neuron är lärbar med gradientbaserade metoder, drar vi slutsatsen att vi fortfarande är långt ifrån en tillfredsställande allmän förklaring till den empiriska framgången för neurala nätverk.
I synnerhet visar REF att detta tillvägagångssätt inte effektivt kan approximera en enda ReLU-neuron, även om fördelningen är standard Gaussian.
On the Power and Limitations of Random Features for Understanding Neural Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}