Strukturen av majoriteten av moderna djupa neurala nätverk kännetecknas av enkelriktad feed-forward anslutning över ett mycket stort antal lager. Som kontrast, arkitekturen av cortex av ryggradsdjur innehåller färre hierarkiska nivåer men många återkommande och feedback kopplingar. Här visar vi att ett litet, få lager artificiella neurala nätverk som använder feedback kommer att nå toppnivå prestanda på en standard benchmarking uppgift, annars endast erhållits av stora feed-forward strukturer. För att uppnå detta använder vi feed-forward överföring entropi mellan nervceller för att strukturera återkopplingsanslutningen. Överföring entropi kan här intuitivt förstås som en åtgärd för relevansen av vissa vägar i nätverket, som sedan förstärks av feedback. Återkoppling kan därför vara nyckeln till hög nätverksprestanda i små hjärnliknande arkitekturer.
Herzog m.fl. REF använde feedfore TE mellan nervceller för att strukturera konnektiviteten för neural återkoppling.
Transfer entropy-based feedback improves performance in artificial neural networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}