Djupt lärande har nyligen lett till stora framgångar i uppgifter som bildigenkänning (t.ex. Krizhevsky m.fl., 2012). Djupa nätverk överträffas dock fortfarande av hjärnans kraft och mångsidighet, kanske delvis på grund av de rikare neuronala beräkningar som finns tillgängliga för kortikala kretsar. Utmaningen är att identifiera vilka neuronala mekanismer som är relevanta, och att hitta lämpliga abstraktioner för att modellera dem. Här visar vi hur aspekter av spik timing, länge hypotes att spela en avgörande roll i kortikal informationsbearbetning, skulle kunna införlivas i djupa nätverk för att bygga rikare, mångsidiga representationer. Vi introducerar en neural nätverk formulering baserad på komplexa-värderade neuronal enheter som är inte bara biologiskt meningsfull men också tillgänglig för en mängd olika djupinlärning ramar. Här, enheter tillskrivs både en bränningshastighet och en fas, den senare indikerar egenskaper spik timing. Vi visar hur denna formulering kvalitativt fångar flera aspekter som anses vara relaterade till neuronal synkroni, inklusive gating av information bearbetning och dynamisk bindning av distribuerade objekt representationer. Med fokus på det senare visar vi på potentialen i tillvägagångssättet i flera enkla experiment. Således kan neuronal synkroni vara en flexibel mekanism som uppfyller flera funktionella roller i djupa nätverk.
Ett exempel är Reichert et al. använde fasen för att indikera egenskaper av spik timing i cortical information processing REF.
Neuronal Synchrony in Complex-Valued Deep Networks
{'venue': 'ICLR 2014', 'journal': 'arXiv: Machine Learning', 'mag_field_of_study': ['Computer Science', 'Mathematics', 'Biology']}