I detta papper, vi teoretiskt bevisa att lutning nedstigning kan hitta ett globalt minimum för icke-linjära djupa neurala nätverk av storlekar som ofta förekommer i praktiken. Den teori som utvecklas i denna uppsats kräver endast de praktiska graderna av överparameterisering till skillnad från tidigare teorier. Vår teori kräver bara att antalet upplärbara parametrar ökar linjärt i takt med att antalet träningsprover ökar. Detta gör att storleken på de djupa neurala nätverken att vara förenliga med praktiken och att vara flera storleksordningar mindre än vad som krävs av de tidigare teorierna. Dessutom bevisar vi att den linjära ökningen av nätets storlek är den optimala hastigheten och att den inte kan förbättras, förutom genom en logaritmisk faktor. Dessutom, djupa neurala nätverk med tågbarhet garanti visas att generalisera väl till osynliga prov med en naturlig dataset men inte en slumpmässig dataset.
I REF, Det är bevisat att lutning nedstigning kan hitta ett globalt minimum för vissa djupa neurala nätverk av storlekar som ofta förekommer i praktiken.
Gradient Descent Finds Global Minima for Generalizable Deep Neural Networks of Practical Sizes
{'venue': '2019 57th Annual Allerton Conference on Communication, Control, and Computing (Allerton)', 'journal': '2019 57th Annual Allerton Conference on Communication, Control, and Computing (Allerton)', 'mag_field_of_study': ['Computer Science', 'Mathematics']}