Vi visar att lutning nedstigning på full bredd linjära convolutional nätverk av djup L konvergerar till en linjär prediktor relaterad till 2 / L bron straff i frekvensdomänen. Detta är i kontrast till fullt anslutna linjära nätverk, där lutningsnedstigningen, oavsett djup, konvergerar till den 2 maximala marginallösningen.
REF tar hänsyn till lutningsnedstigning på helt anslutna linjära nät och linjära konvolutionsnät.
Implicit Bias of Gradient Descent on Linear Convolutional Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}