Sammanfattning av denna webbsida: En viktig fråga inom neural nätverksforskning är hur man väljer antal noder och lager för att lösa ett klassificeringsproblem. Vi erbjuder ny intuition baserad på tidigare resultat av An et al. (2015) genom att härleda en övre gräns för antalet noder i nätverk med två dolda skikt så att linjär separerbarhet kan uppnås. Konkret visar vi att om data kan beskrivas i termer av N ändliga uppsättningar och den använda aktiveringsfunktionen f är nonconstant, ökar och har en vänster asymptot, kan vi härleda hur många noder som behövs för att linjärt separera dessa uppsättningar. Detta kommer att vara en övre gräns som beror på strukturen av data. Denna struktur kan analyseras med hjälp av en algoritm. För den läckande rektifierade linjära aktiveringsfunktionen visar vi separat att under vissa förhållanden på lutningen räcker det med samma antal lager och noder som för ovannämnda aktiveringsfunktioner. Vi bekräftar empiriskt våra påståenden.
REF visade sig vara en övre gräns för antalet noder som behövs för ett tvålagersnät för att separera data.
Generalization of an Upper Bound on the Number of Nodes Needed to Achieve Linear Separability
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}