Vi studerar den implicita biasen av generiska optimeringsmetoder, såsom spegel nedstigning, naturlig lutning nedstigning, och brantaste nedstigning med avseende på olika potentialer och normer, när optimizing underdefinierad linjär regression eller separerbara linjära klassificeringsproblem. Vi undersöker frågan om huruvida det specifika globala minimum (bland de många möjliga globala minima) som uppnås av en algoritm kan karakteriseras i termer av potentialen eller normen för optimeringsgeometrin, och oberoende av hyperparameterval såsom stegstorlek och momentum.
REF studerar implicita fördomar hos generiska optimeringsalgoritmer såsom brantaste nedstigning.
Characterizing Implicit Bias in Terms of Optimization Geometry
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}