Vi visar hur framgången med djupt lärande kan bero inte bara på matematik utan också på fysik: även om välkända matematiska teorem garanterar att neurala nätverk kan approximera godtyckliga funktioner väl, klass av funktioner av praktiskt intresse kan ofta approximeras genom "billig inlärning" med exponentiellt färre parametrar än generiska. Vi undersöker hur egenskaper som ofta förekommer i fysik såsom symmetri, lokalitet, kompositionalitet och polynomisk logsannolikhet översätter till exceptionellt enkla neurala nätverk. Vi hävdar vidare att när den statistiska process som genererar data är av en viss hierarkisk form som är allmänt förekommande inom fysik och maskininlärning, kan ett djupt neuralt nätverk vara effektivare än ett grunt. Vi formaliserar dessa påståenden med hjälp av informationsteori och diskuterar relationen till omnormaliseringsgruppen. Vi visar olika "no-flathing teorem" visar när effektiva linjära djupa nätverk inte exakt kan approximeras av ytliga utan effektivitetsförlust; till exempel visar vi att n variabler inte kan multipliceras med mindre än 2 n neuroner i ett enda dolt lager.
Lin, Tegmark och Rolnick REF visade att för datamängder med informationsteoretiska egenskaper som är vanliga i fysik och på andra håll är djupa nätverk effektivare än grunda nätverk.
Why does deep and cheap learning work so well?
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Physics', 'Computer Science']}