I en serie av senaste teoretiska arbeten, har det visat sig att starkt överparameteriserade neurala nätverk tränas med gradient-baserade metoder kan konvergera linjärt till noll träningsförlust, med sina parametrar knappast varierar. I denna not är vårt mål att visa upp den enkla struktur som ligger bakom dessa resultat. I en förenklad inställning bevisar vi att "lazy training" i grund och botten löser en kärnregression. Vi visar också att detta beteende inte är så mycket på grund av överparameterisering än ett val av skalning, ofta implicit, som gör det möjligt att linjärisera modellen runt dess initiering. Dessa teoretiska resultat kompletterade med enkla numeriska experiment gör att det verkar osannolikt att "lazy träning" ligger bakom de många framgångar neurala nätverk i högdimensionella uppgifter.
REF visade att träning överparameteriserade neurala nätverk faktiskt tillhör en så kallad "lazy training" regim, där modellen beter sig som sin linjärisering kring initiering.
On Lazy Training in Differentiable Programming
{'venue': 'Advances in Neural Information Processing Systems (NeurIPS), Dec 2019, Vancouver, Canada', 'journal': None, 'mag_field_of_study': ['Computer Science', 'Mathematics']}