Vi visar nya övre och nedre gränser på VC-dimensionen av djupa neurala nätverk med ReLU aktiveringsfunktionen. Dessa gränser är tighta för nästan hela sortimentet av parametrar. Låta W vara antalet vikter och L vara antalet lager, vi bevisar att VC-dimensionen är O(W L log(W )), och ge exempel med VC-dimension  och W L log(W/L)). Detta förbättrar både de tidigare kända övre och nedre gränserna. När det gäller antalet U av icke-linjära enheter, visar vi ett snävt band (W U ) på VC-dimensionen. Alla dessa gränser generaliseras till godtyckliga linjära aktiveringsfunktioner, och håller också för pseudodimensionerna av dessa funktionsklasser. I kombination med tidigare resultat ger detta ett spännande utbud av beroenden av VC-dimensionen på djupet för nätverk med olika icke-linjäritet: det finns inget beroende för bitvis-konstant, linjärt beroende för bitvis-linjär, och inte mer än kvadratiskt beroende för allmän bitvis-polynom.
Det är väl känt att VC-dimensionen av neurala nätverk är åtminstone linjär i antalet parametrar REF, och därför kan klassisk VC-teori inte förklara generalisering förmåga moderna neurala nätverk med fler parametrar än träningsprover.
Nearly-tight VC-dimension and pseudodimension bounds for piecewise linear neural networks
{'venue': 'Journal of Machine Learning Research 20 (2019) 1-17', 'journal': None, 'mag_field_of_study': ['Mathematics', 'Computer Science']}