Neuroscientister har länge kritiserat djupinlärningsalgoritmer som oförenliga med nuvarande kunskap om neurobiologi. Vi utforskar mer biologiskt rimliga versioner av djuprepresentationsinlärning, där vi främst fokuserar på oövervakat lärande men utvecklar en inlärningsmekanism som skulle kunna redogöra för övervakat, oövervakat och förstärkande lärande. Utgångspunkten är att den grundläggande inlärningsregeln som tros styra synaptiska viktuppdateringar (Spike-TimingDependent Plasticity) kan tolkas som lutning nedstigning på någon objektiv funktion så länge den neuronala dynamiken driver bränning hastigheter mot bättre värden av den objektiva funktionen (om den övervakas, oövervakad, eller belöningsdriven). Den andra huvudidén är att detta motsvarar en form av den variationsgivande EM-algoritmen, d.v.s. med ungefärliga snarare än exakta baksidor, implementerad av neural dynamik. Ett annat bidrag av detta papper är att de gradienter som krävs för att uppdatera de dolda tillstånden i ovanstående variationstolkning kan uppskattas med hjälp av en approximation som endast kräver förökning aktiveringar framåt och bakåt, med par av lager lärande för att bilda en denoiserande auto-encoder. Slutligen utvidgar vi teorin om den probabilistiska tolkningen av autokodare för att motivera förbättrade provtagningssystem baserade på den generativa tolkningen av denoiserande autokodare, och vi bekräftar alla dessa idéer om generativa inlärningsuppgifter.
För det andra, lärande bygger på backpropagation som inte är biologiskt rimlig inlärningsmekanism, som anges i REF.
Towards Biologically Plausible Deep Learning
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}