Fenomenet godartad överbemanning är ett av de nyckelmysterier som avslöjas av djupt lärande metodik: djupa neurala nätverk verkar förutsäga väl, även med en perfekt passform för bullriga träningsdata. Motiverade av detta fenomen, vi överväger när en perfekt passform för träningsdata i linjär regression är kompatibel med korrekt förutsägelse. Vi ger en karakterisering av gaussianska linjära regressionsproblem för vilka den minsta norm interpolerande predikteringsregeln har nästan optimal prediktionsnoggrannhet. Karaktäriseringen är i termer av två begrepp av den effektiva rangen av data covariansen. Den visar att överparameterisering är nödvändig för godartad övermontering i denna inställning: antalet riktningar i parameterutrymme som är oviktiga för förutsägelse måste avsevärt överstiga provstorleken.
Exempelvis definierade REF två begrepp om effektiva led i datakovariansmatrisen i linjära modeller, och uttryckte generaliseringsfelet bundet i termer av effektiva led.
Benign Overfitting in Linear Regression
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Medicine', 'Mathematics']}