Vi undersöker de teoretiska egenskaperna hos att genomdriva tidigare erfarenheter från generativa djupa neurala nätverk via empirisk riskminimering. I synnerhet betraktar vi två modeller, en där uppgiften är att invertera ett generativt neuralt nätverk som ges tillgång till dess sista lager och en annan där uppgiften är att invertera ett generativt neuralt nätverk som endast ges komprimerande linjära observationer av dess sista lager. Vi slår fast att i båda fallen, i lämpliga system av nätlagerstorlekar och ett slumpmässigt antagande om nätvikterna, att den icke-konvexa objektiva funktion som ges av empirisk riskminimering inte har några falska stationära punkter. Det vill säga, vi konstaterar att med hög sannolikhet, när som helst från små stadsdelar runt två skalär multiplar av den önskade lösningen, finns det en nedstigning riktning. Därför finns det inga lokala minima, sadelplatser eller andra stationära punkter utanför dessa områden. Dessa resultat utgör de första teoretiska garantierna som etablerar den gynnsamma globala geometrin för dessa icke-konvexa optimeringsproblem, och de överbryggar klyftan mellan den empiriska framgången med att genomdriva djupa generativa föregångare och en rigorös förståelse av icke-linjära inversa problem.
Hand och Voroninski REF gav teoretiska egenskaper för problemet med att genomdriva tidigare tillhandahållna av generativa djupa neurala nätverk via empirisk riskminimering genom att etablera den gynnsamma globala geometrin.
Global Guarantees for Enforcing Deep Generative Priors by Empirical Risk
{'venue': 'IEEE Transactions on Information Theory', 'journal': 'IEEE Transactions on Information Theory', 'mag_field_of_study': ['Computer Science', 'Mathematics']}