Vi visar att lutning nedstigning på en oregulariserad logistisk regressionsproblem med separerbara data konvergerar till max-marginal lösning. Resultatet generaliseras också till andra monoton minskande förlustfunktioner med en infimum i oändlighet, och vi diskuterar också en multi-klass generaliseringar till korsentropi förlust. Dessutom visar vi att denna konvergens är mycket långsam och bara logaritmisk när det gäller själva förlustens konvergens. Detta kan bidra till att förklara nyttan med att fortsätta optimera logistiska eller korsentropiska förluster även efter att träningsfelet är noll och träningsförlusten är extremt liten, och som vi visar, även om valideringsförlusten ökar. Vår metodik kan också hjälpa till att förstå implicit legalisering i mer komplexa modeller och med andra optimeringsmetoder.
En studie visar att den logistiska regressionsmodellen och 2-lagers neurala nätverk med hjälp av monoton minska förlust funktioner tenderar att konvergera i riktning mot max-marginal lösning när man använder GD och SGD REF.
The Implicit Bias of Gradient Descent on Separable Data
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}