Den kontinuerliga dynamiska systemansatsen för djupinlärning utforskas för att ta fram alternativa ramar för utbildningsalgoritmer. Utbildningen omarbetas som ett kontrollproblem och detta gör att vi kan formulera nödvändiga optimala villkor i kontinuerlig tid med hjälp av Pontryagins maximala princip (PMP). En ändring av metoden för successiva approximationer används sedan för att lösa PMP, vilket ger upphov till en alternativ träningsalgoritm för djupinlärning. Detta tillvägagångssätt har fördelen att rigorösa feluppskattningar och konvergensresultat kan fastställas. Vi visar också att det kan undvika vissa fallgropar av gradientbaserade metoder, såsom långsam konvergens på platta landskap nära sadelpunkter. Dessutom visar vi att den får en gynnsam initial konvergensgrad per iteration, förutsatt att Hamiltonian maximization kan genomföras effektivt - ett steg som fortfarande är i behov av förbättring. På det hela taget öppnar strategin nya vägar för att angripa problem i samband med djupinlärning, såsom infångning i långsamma grenrör och otillämpbarhet av gradientbaserade metoder för diskreta utbildningsbara variabler. 1 Vi kan också göra L beroende av Xt, men för enkelheten i presentationen och det faktum att de flesta nuvarande modellerna för maskininlärning inte legalisera staterna, kommer vi utelämna detta allmänna fall.
I REF ) använde författarna detta tillvägagångssätt för att föreslå en maximal principbaserad metod som ett alternativ till backpropagation.
Maximum Principle Based Algorithms for Deep Learning
{'venue': 'Journal of Machine Learning Research 18 (2018) 1-29', 'journal': None, 'mag_field_of_study': ['Mathematics', 'Computer Science']}