Vi använder smidiga analystekniker för att ge garantier för träningsförlusten av Multilayer Neural Networks (MNN) vid olika lokala minima. Specifikt undersöker vi MNN med bitvis linjär aktiveringsfunktioner, quadratic förlust och en enda utgång, under mild överparametrisering. Vi bevisar att för en MNN med ett dolt lager, är träningsfelet noll på varje differential lokalt minimum, för nästan varje datauppsättning och dropout-liknande buller förverkligande. Vi utvidgar sedan dessa resultat till fler än ett dolt lager. Våra teoretiska garantier tar i grund och botten ingenting på träningsdata, och verifieras numeriskt. Dessa resultat tyder på varför den mycket icke-konvexa förlusten av sådana MNN lätt kan optimeras med hjälp av lokala uppdateringar (t.ex. stokastisk lutning nedstigning), som observerats empiriskt.
Soudry och Carmon REF använde släta analystekniker för att ge teoretisk garanti för att de mycket icke konvexa förlustfunktionerna i flerlagersnätverk enkelt kan optimeras med hjälp av lokala nedstigningsuppdateringar.
No bad local minima: Data independent training error guarantees for multilayer neural networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}