Abstract-Deep Neural Networks (DNN) analyseras via den teoretiska ramen för information flaskhals (IB) principen. Vi visar först att eventuella DNN kan kvantifieras genom den ömsesidiga informationen mellan skikten och in- och utdatavariablerna. Med hjälp av denna representation kan vi beräkna den optimala informationen teoretiska gränser för DNN och få finita urval generalisering gränser. Fördelen med att komma närmare den teoretiska gränsen är kvantifierbar både av generaliseringen bunden och av nätverkets enkelhet. Vi hävdar att både den optimala arkitekturen, antalet lager och funktioner / anslutningar vid varje lager, är relaterade till bifurcation punkter information flaskhals kompromiss, nämligen relevant kompression av ingångsskiktet med avseende på utdataskiktet. De hierarkiska representationerna i det skiktade nätet motsvarar naturligtvis de strukturella fasövergångarna längs informationskurvan. Vi tror att denna nya insikt kan leda till nya optimala gränser och djupinlärningsalgoritmer.
I REF infördes metoden Information Bottneck (IBP) för att ta bort irrelevant information och behålla den ömsesidiga informationen mellan två variabler.
Deep learning and the information bottleneck principle
{'venue': '2015 IEEE Information Theory Workshop (ITW)', 'journal': '2015 IEEE Information Theory Workshop (ITW)', 'mag_field_of_study': ['Computer Science', 'Mathematics']}