Utbildning neurala nätverk är en utmanande icke-konvex optimering problem, och backpropagation eller lutning nedstigning kan fastna i falska lokala optima. Vi föreslår en ny algoritm baserad på tensor nedbrytning för att träna ett tvålagers neuralt nätverk. Vi bevisar effektiva riskgränser för vår föreslagna metod, med en polynomisk prov komplexitet i relevanta parametrar, såsom input dimension och antal neuroner. Samtidigt som vi lär oss godtyckliga målfunktioner är NP-hårda, ger vi transparenta villkor på funktionen och indata för generalisering. Vår träningsmetod är baserad på tensor nedbrytning, som på ett tydligt sätt konvergerar till det globala optimala, under en uppsättning milda icke-degeneracy förhållanden. Den består av enkla pinsamt parallella linjära och multilinjära operationer, och är konkurrenskraftig med standard stokastisk lutning nedstigning (SGD), i termer av beräknings komplexitet. Således har vi en beräkningseffektiv metod med garanterade riskgränser för att träna neurala nätverk med allmänna icke-linjära aktiveringar.
Det finns också en seminal arbete med tensor metod för att undvika icke-konvex optimering problem i neurala nätverket REF.
Beating the Perils of Non-Convexity: Guaranteed Training of Neural Networks using Tensor Methods
{'venue': None, 'journal': 'arXiv: Learning', 'mag_field_of_study': ['Mathematics']}