Översittande är förbudet för dataanalytiker, även när det finns gott om data. Formella tillvägagångssätt för att förstå detta problem fokuserar på statistisk inferens och generalisering av enskilda analysförfaranden. Men praxis av dataanalys är en inneboende interaktiv och adaptiv process: nya analyser och hypoteser föreslås efter att ha sett resultaten av tidigare, parametrar justeras på grundval av erhållna resultat, och datauppsättningar delas och återanvändas. En undersökning av denna klyfta har nyligen initierats av författarna i [DFH + 14], där vi fokuserade på problemet med att uppskatta förväntningarna på adaptivt valda funktioner. I det här dokumentet ger vi en enkel och praktisk metod för att återanvända en holdout (eller test) set för att validera riktigheten av hypoteser som produceras av en lärande algoritm som arbetar på ett träningsset. Återanvända en holdout set adaptivt flera gånger kan lätt leda till översittande till holdout set själv. Vi ger en algoritm som möjliggör validering av ett stort antal adaptivt valda hypoteser, samtidigt som man på ett tydligt sätt undviker övermontering. Vi illustrerar fördelarna med vår algoritm jämfört med den vanliga användningen av holdout set via ett enkelt syntetiskt experiment. Vi formaliserar och tar itu med det allmänna problemet med dataåteranvändning i adaptiv dataanalys. Vi visar hur den differential-privacy-baserade metoden som ges i [DFH + 14] är tillämplig mycket mer allmänt för adaptiv dataanalys. Vi visar sedan att ett enkelt tillvägagångssätt baserat på beskrivningslängd också kan användas för att ge garantier för statistisk giltighet i adaptiva inställningar. Slutligen visar vi att dessa ojämförliga tillvägagångssätt kan förenas genom begreppet ungefärlig maxinformation som vi inför. Detta gör det särskilt möjligt att bevara statistiska giltighetsgarantier även när en analytiker adaptivt komponerar algoritmer som har garantier baserade på någon av de två tillvägagångssätten.
Dwork m.fl. REF visade att algoritmer med begränsad beskrivningslängd har liknande garantier för adaptiv dataanalys och införde begreppet maxinformation.
Generalization in Adaptive Data Analysis and Holdout Reuse
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}