I denna uppsats utforskar vi teoretiska egenskaper av utbildning en tvåskiktad ReLU nätverk g(x; w) = K j=1 σ(w j x) med centrerad d-dimensionella Gaussian ingång x (σ=ReLU). Vi tränar vårt nätverk med lutning nedstigning på w för att härma utgången av ett lärarnätverk med samma arkitektur och fasta parametrar w *. Vi visar att dess populationsgradient har en analytisk formel som leder till intressant teoretisk analys av kritiska punkter och konvergensbeteenden. För det första bevisar vi att kritiska punkter utanför det hyperplan som spänns över av lärarparametrarna ("utanför planet") inte är isolerade och bildar grenrör, och karakteriserar i planet kritiska punktfria regioner för två ReLU-fall. Å andra sidan garanteras konvergens till w * för en ReLU-nod med minst (1 − )/2 sannolikhet, om vikterna initieras slumpmässigt med standardavvikelse övre gräns av O( / ε d), i enlighet med empirisk praxis. För nätverk med många ReLU noder, visar vi att en oändligt liten perturbation av vikt initialisering resulterar i konvergens mot w * (eller dess permutation), ett fenomen som kallas spontan symmetrisk-brytande (SSB) i fysik. Vi utgår från att ReLU-aktiveringarna inte är oberoende. Simuleringen verifierar våra resultat.
Mer specifikt, REF visade att för en lager en-neuron ReLU-nätverk (dvs. ReLU-enhet), slumpmässigt initierad lutning nedstigning på befolkningsförlustfunktionen kan återställa marktruth-parametrarna i lärarnätverket.
An Analytical Formula of Population Gradient for two-layered ReLU network and its Applications in Convergence and Critical Point Analysis
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}