Under de senaste åren har softmax och SGD blivit en allmänt använd komponent respektive standardutbildningsstrategi i CNN-ramverk. Emellertid, när optimera CNNs med SGD, mättnad beteende bakom softmax ger oss alltid en illusion av träning väl och sedan utelämnas. I detta papper betonar vi först att den tidiga mättnad beteendet hos softmax kommer att hindra utforskandet av SGD, vilket ibland är en anledning för modellen konvergera på en dålig lokal-minima, sedan föreslå Noisy Softmax för att mildra denna tidiga mättnad fråga genom att injicera glödgat buller i softmax under varje iteration. Denna operation baserad på bullerinsprutning syftar till att skjuta upp den tidiga mättnaden och ytterligare öka den kontinuerliga utbredningen av gradienter så att SGD-lösaren avsevärt uppmuntras att vara mer utforskande och bidra till att hitta en bättre lokalminima. Detta papper verifierar empiriskt överlägsenheten av den tidiga softmax desaturering, och vår metod förbättrar verkligen generaliseringen av CNN-modellen genom legalisering. Vi finner experimentellt att denna tidiga desaturering hjälper till att optimera i många uppgifter, vilket ger toppmoderna eller konkurrenskraftiga resultat på flera populära referensdataset.
Chen, och Al. Ref föreslår ett bullrigt softmax för att minska problemet med tidig mättnad genom att injicera glödgat buller till softmax-ingången.
Noisy Softmax: Improving the Generalization Ability of DCNN via Postponing the Early Softmax Saturation
{'venue': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}