Backpropagationen av felalgoritm (BP) är omöjlig att genomföra i en riktig hjärna. Den senaste tidens framgångar med djupa nätverk inom maskininlärning och AI har dock inspirerat förslag på hur hjärnan kan lära sig över flera lager, och därmed hur den kan approximera BP. Hittills har inget av dessa förslag utvärderats rigoröst när det gäller uppgifter där BP-styrda djupinlärning har visat sig vara av avgörande betydelse, eller inom arkitekturer som är mer strukturerade än enkla sammankopplade nätverk. Här presenterar vi resultat om att skala upp biologiskt motiverade modeller för djupinlärning på dataset som behöver djupa nätverk med lämpliga arkitekturer för att uppnå god prestanda. Vi presenterar resultat på MNIST, CIFAR-10, och ImageNet datauppsättningar och utforska varianter av mål-förökning (TP) och feedback anpassning (FA) algoritmer, och utforska prestanda i både fullt-och lokalt anslutna arkitekturer. Vi introducerar också vikt-transport-fria varianter av skillnad målutbredning (DTP) modifierat för att ta bort backpropagation från det näst sista lagret. Många av dessa algoritmer fungerar bra för MNIST, men för CIFAR och ImageNet finner vi att TP och FA-varianter presterar betydligt sämre än BP, särskilt för nätverk som består av lokalt anslutna enheter, vilket öppnar frågor om huruvida nya arkitekturer och algoritmer krävs för att skala dessa metoder. Våra resultat och genomförandedetaljer hjälper till att etablera baslinjer för biologiskt motiverade djupinlärningsprogram framöver.
Nyligen presenterade REF resultat som testar FA på CIFAR-10 och ImageNet arkitekturer.
Assessing the Scalability of Biologically-Motivated Deep Learning Algorithms and Architectures
{'venue': 'NeurIPS', 'journal': None, 'mag_field_of_study': ['Mathematics', 'Computer Science']}