Två saker tycks vara odiskutabla i det nutida djuplärande föredraget: 1. Den kategoriska korsentropiförlusten efter aktivering av softmax är metoden för klassificering. 2. Utgångspunkten är följande: Att träna en CNN-klassare från grunden på små datauppsättningar fungerar inte bra. I motsats till detta visar vi att cosinusförlustfunktionen ger betydligt bättre prestanda än korsentropi på dataset med endast en handfull prover per klass. Till exempel är den noggrannhet som uppnås på datauppsättningen CUB-200-2011 utan förutbildning 30 % högre än med korsentropiförlusten. Ytterligare experiment på fyra andra populära datauppsättningar bekräftar våra resultat. Dessutom visar vi att klassificeringsprestandan kan förbättras ytterligare genom att integrera förkunskaper i form av klasshierarkier, vilket är enkelt med cosinusförlusten.
I REF föreslog författarna användningen av cosinusförlusten för att förhindra övermontering på datauppsättningar med endast en handfull prover per klass.
Deep Learning on Small Datasets without Pre-Training using Cosine Loss
{'venue': '2020 IEEE Winter Conference on Applications of Computer Vision (WACV), Snowmass Village, CO, USA, 2020', 'journal': None, 'mag_field_of_study': ['Computer Science', 'Mathematics']}