Trots deras stora framgång finns det fortfarande ingen omfattande teoretisk förståelse av lärande med Deep Neural Networks (DNN) eller deras inre organisation. Tidigare arbete [Tishby & Zaslavsky (2015) ] föreslog att man skulle analysera DNN i informationsplanen, dvs. planet för de ömsesidiga informationsvärden som varje lager bevarar på indata- och utdatavariablerna. De föreslog att målet med nätverket är att optimera information flaskhals (IB) kompromiss mellan komprimering och förutsägelse, successivt, för varje lager. I detta arbete följer vi upp denna idé och visar effektiviteten i informationsplanens visualisering av DNN. Vi visar först att de stokastisk lutning nedstigning (SGD) epoker har två distinkta faser: snabb empirisk felminimering följt av långsam representation kompression, för varje lager. Vi hävdar sedan att DNN-lagren hamnar mycket nära IB:s teoretiska gräns och lägger fram ett nytt teoretiskt argument för beräkningsnyttan av de dolda skikten.
Författarna till Ref föreslår särskilt att utbildningsprocessen för DNN består av en inledande monteringsfas och en representationskompressionsfas, där nätverkets mål är att optimera handeln mellan kompression och förutsägelse.
Opening the Black Box of Deep Neural Networks via Information
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}