Många uppgifter inom maskininlärning och signalbehandling kan lösas genom att minimera en konvex funktion av ett mått. Detta inkluderar sparse spikar dekonvolution eller utbildning ett neuralt nätverk med ett enda dolt lager. För dessa problem studerar vi en enkel minimeringsmetod: det okända måttet diskretiseras till en blandning av partiklar och en kontinuerlig gradient nedstigning utförs på deras vikter och positioner. Detta är en idealisering av det vanliga sättet att träna neurala nätverk med ett stort dolt lager. Vi visar att, när den initieras korrekt och i många partiklar gräns, denna lutning flöde, även om icke-konvex, konvergerar till globala minimerare. Beviset omfattar Wasserstein gradientflöden, en biprodukt av optimal transportteori. Numeriska experiment visar att detta asymptotiska beteende redan är på spel för ett rimligt antal partiklar, även i hög dimension.
REF visar att Wassersteins lutningsflöde konvergerar till globala optimatorer enligt strukturella antaganden.
On the Global Convergence of Gradient Descent for Over-parameterized Models using Optimal Transport
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}