Vi studerar förhållandet mellan geometri och kapacitetsmått för djupa neurala nätverk ur en variance synvinkel. Vi introducerar ett nytt begrepp om kapacitet - Fisher-Rao normen - som har önskvärda invariance egenskaper och motiveras av Information Geometri. Vi upptäcker en analytisk karakterisering av den nya kapacitetsåtgärden, genom vilken vi etablerar normjämförbara ojämlikheter och ytterligare visar att den nya åtgärden fungerar som ett paraply för flera befintliga normbaserade komplexitetsåtgärder. Vi diskuterar de övre gränserna för det generaliseringsfel som orsakas av den föreslagna åtgärden. Omfattande numeriska experiment på CIFAR-10 stödjer våra teoretiska resultat. Vår teoretiska analys vilar på en viktig strukturell lemma om partiella derivat av flerlagers likriktarnätverk.
Lang m.fl. utforska kapacitetsåtgärder för djupa neurala nätverk från en geometrisk invariant synvinkel REF.
Fisher-Rao Metric, Geometry, and Complexity of Neural Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}