Neurala nätverk har använts på ett framträdande sätt i flera tillämpningar för maskininlärning och statistik. I allmänhet är den underliggande optimeringen av neurala nätverk icke-konvexa vilket gör deras prestandaanalys utmanande. I detta dokument tar vi ett nytt förhållningssätt till detta problem genom att fråga om man kan begränsa neurala nätverksvikter för att få dess optimeringslandskap att ha goda teoretiska egenskaper samtidigt som man kan vara en bra approximation för den okonstruerade. För tvålagers neurala nätverk ger vi jakande svar på dessa frågor genom att introducera Porcupine Neural Networks (PNNs) vars viktvektorer begränsas till att ligga över en ändlig uppsättning linjer. Vi visar att de flesta lokala optima av PNN optimeringar är globala medan vi har en karakterisering av regioner där dåliga lokala optimatorer kan existera. Dessutom tyder våra teoretiska och empiriska resultat på att ett okonstruerat neuralt nätverk kan approximeras med hjälp av ett polynomiskt stort PNN.
REF studerade ett ickelinjärt neuralt nätverk i ett lager med parametrar begränsade i en uppsättning riktningar av linjer, och visade att de flesta lokala minima är globala minima.
Porcupine Neural Networks: (Almost) All Local Optima are Global
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}