Nyligen, fullt anslutna och konvolutionella neurala nätverk har utbildats för att uppnå state-of-the-art prestanda på en mängd olika uppgifter som taligenkänning, bildklassificering, naturligt språk bearbetning och bioinformatik. För klassificeringsuppgifter använder de flesta av dessa "djupt lärande" modeller softmax aktiveringsfunktion för förutsägelse och minimerar korsentropi förlust. I detta papper visar vi en liten men konsekvent fördel med att ersätta softmax-skiktet med en linjär stödvektormaskin. Inlärning minimerar en marginalbaserad förlust istället för kors-entropi förlust. Även om det har funnits olika kombinationer av neurala nät och SVM i tidigare konst, våra resultat med hjälp av L2-SVMs visar att genom att helt enkelt ersätta softmax med linjära SVMs ger betydande vinster på populära djupinlärning dataset MNIST, CIFAR-10, och ICML 2013 Representation Learning Workshop ansikte uttryck erkännande utmaning.
Tang REF föreslog gemensamt lära sig en djup CNN med en linjär stöd Vector Machine (SVM) utgång.
Deep Learning using Linear Support Vector Machines
{'venue': None, 'journal': 'arXiv: Learning', 'mag_field_of_study': ['Computer Science', 'Mathematics']}