Felaktig tillämpning av statistisk dataanalys är en vanlig orsak till falska upptäckter inom vetenskaplig forskning. Befintliga metoder för att säkerställa giltigheten av slutsatser som hämtats från uppgifter förutsätter ett fast förfarande som ska genomföras, som valts ut innan uppgifterna undersöks. I vanlig praxis är dock dataanalys en i sig adaptiv process, med nya analyser som genereras på grundval av undersökning av data, samt resultaten av tidigare analyser av samma data. Vi visar en ny strategi för att ta itu med utmaningarna med anpassningsförmåga baserat på insikter från integritetsbevarande dataanalys. Som en applikation visar vi hur man på ett säkert sätt kan återanvända en holdout datauppsättning många gånger för att validera resultaten av adaptivt utvalda analyser. Det vetenskapliga samfundet blir allt mer medvetet om att påståenden om statistisk signifikans i publicerad forskning ofta är ogiltiga. Det har gjorts stora ansträngningar för att förstå och föreslå begränsningar för detta problem, till stor del inriktade på statistiska metoder för att kontrollera den falska upptäcktsfrekvensen i flera hypotestester (1). Den statistiska slutledningsteori som omger detta arbete förutsätter dock att ett fast förfarande utförs, som valts ut innan uppgifterna samlas in. Däremot är praxis för dataanalys inom vetenskaplig forskning till sin natur en adaptiv process där nya analyser väljs på grundval av dataprospektering och tidigare analyser av samma data. Det är nu väl underförstått att en anpassning av analysen till data resulterar i ett implicit problem med flera jämförelser som inte fångas upp i de rapporterade signifikansnivåerna av standardiserade statistiska förfaranden eller av befintliga tekniker för att kontrollera den falska upptäcktsfrekvensen. Detta problem, i vissa sammanhang som kallas "p-hacking" eller "forskare grader av frihet", är en av de främsta förklaringarna till varför forskningsresultat ofta är falska (2-4). Det traditionella perspektivet på anpassningsförmåga gör det nödvändigt att uttryckligen redogöra för alla möjliga sätt att utföra analysen för att ge giltighetsgarantier för den adaptiva analysen. Även om detta tillvägagångssätt kan vara möjligt i enklare studier är det tekniskt utmanande och ofta opraktiskt i mer komplicerade analyser (4). Många tekniker har utvecklats av statistiker för att ta itu med vanliga specialfall av adaptiv dataanalys. De flesta av dessa metoder fokuserar på en enda omgång av anpassningsförmåga – såsom variabelt urval följt av regression på utvalda variabler eller modellurval följt av testning – och är optimerade för särskilda inferensprocedurer (litteraturen är för omfattande för att på lämpligt sätt täcka in här, men se kapitel 7 i (5) för en utgångspunkt). Det finns också förfaranden för att kontrollera falska upptäckter i en sekventiell inställning där tester anländer en efter en (6-8). Dessa resultat är dock avgörande beroende av att alla tester bibehåller sina statistiska egenskaper, trots att de väljs i angiven ordning, ett antagande som ofta är svårt att motivera i en komplex adaptiv analys. Ett föreslaget tillvägagångssätt för att undvika frågan om anpassningsförmåga är förhandsregistrering, dvs. fastställande av hela protokollet för analys av data i förväg, vilket tvingar analysen att vara icke-adaptiv. Ett öppet brev (9) med mer än 80 undertecknare kräver föranmälan inom vetenskapen. Även om detta förslag är säkert kan det vara betungande för forskaren och kan begränsa den typ av analys han eller hon kan utföra (4). Till följd av detta har denna metod haft svårt att få fart i praktiken. En mer populär metod för att undvika problem av denna typ är att validera databeroende hypoteser eller statistik på en hållplats. Dataanalytikern börjar med att dela upp dataprover slumpmässigt i träningsdata och holdoutdata. Analytikern interagerar med utbildningen för att få en datastatistik av intresse: till exempel korrelation mellan vissa egenskaper eller noggrannheten hos en prediktiv modell. Statistiken valideras sedan genom att beräkna dess värde på holdout-uppsättningen. Eftersom hållplatsen har hämtats från samma datafördelning oberoende av statistiken, kan standardiserade statistiska inferensprocedurer användas på ett säkert sätt. En stor nackdel med detta grundläggande tillvägagångssätt är att hållplatsen i allmänhet inte kan återanvändas. Om analytikern använder resultatet av valideringen för att välja en ytterligare datastatistik, är denna statistik inte längre oberoende av innehavsdata, och ytterligare användning av innehavsmängden för validering kan leda till felaktig statistisk slutsats. För att bevara statistisk giltighet är det enda kända säkra tillvägagångssättet att samla in nya data för en ny holdout uppsättning. Detta konservativa tillvägagångssätt är mycket kostsamt och missbrukas därför ofta, vilket resulterar i att innehavet sätts över (10) (11) (12). I detta arbete beskriver vi en allmän metod, tillsammans med en specifik momentiation för återanvändning av en holdout set samtidigt som de statistiska garantierna för färska data bibehålls. Analytikern får obehindrad tillgång till utbildningsdatasetet men kan endast komma åt holdoutsetet via en algoritm (liksom en mekanism) som gör det möjligt för analytikern att validera statistik om holdoutsetet. Beväpnad med en sådan mekanism, analytikern är fri att utforska (utbildning) data ad libitum, generera och dator statistik, validera dem på håll, och upprepa detta förfarande, samt dela resultat med andra analytiker som också kan använda samma holdout set. Den avgörande idén bakom vår återanvändbara holdout metod kommer från differential privacy-en uppfattning om integritet bevarande i dataanalys infördes i datavetenskap (13). I stort sett, differential integritet säkerställer att sannolikheten för att observera något resultat från en analys är i huvudsak oförändrad genom att ändra någon enskild datamängd element. Ett sådant tillstånd kallas ofta en stabilitetsgaranti. En viktig arbetslinje etablerar kopplingar mellan stabiliteten i en inlärningsalgoritm och dess förmåga att generalisera (14-16). Det är känt att vissa stabilitetsbegrepp är nödvändiga och tillräckliga för generalisering. Tyvärr, de stabilitetsbegrepp som beaktas i dessa tidigare verk inte komponera i den meningen att köra flera stabila algoritmer sekventiellt och adaptivt kan resultera i ett förfarande som inte är stabilt. Differentiell integritet är starkare än dessa tidigare studerade begrepp om stabilitet och, i synnerhet, har starka adaptiva sammansättningsgarantier. I ett nötskal är den återanvändbara hållmekanismen helt enkelt följande: tillträde till hållplatsen endast via en differentierad privat mekanism. Intuitionen är att om vi kan lära oss om de data som samlas in samtidigt som vi lär oss mycket lite om något enskilt dataelement, då kan vi kontrollera informationen läckt och därmed förhindra övermontering. Mer specifikt introducerar vi ett nytt begrepp om maximal information som kontrollerar övermontering och kan begränsas med hjälp av differentiell integritet [för en översikt, se avsnitt 1 i (17)]. Vi presenterar ett genomförande av den återanvändbara holdouten, kallad Thresholdout, och visar att den på ett tydligt sätt validerar ett stort antal adaptivt utvalda statistiska uppgifter. Vi använder sedan en enkel klassificeringsalgoritm på syntetisk data för att illustrera egenskaperna hos Thresholdout. Den klassificeringsapparat som algoritmen producerar överpassar datan när holdout-setet återanvänds naivt men inte överpassar om det används med vår återanvändbara holdout. Vi arbetar i en standardinställning: en analytiker ges en datamängd S 1⁄4 ðx 1 ;...; x n  på n prov tagna slumpmässigt och oberoende av någon okänd distribution P över ett diskret universum X av möjliga datapunkter. Även om vårt tillvägagångssätt kan tillämpas mer allmänt, fokuserar vi här på att validera statistik som kan uttryckas som medelvärdet av någon godtycklig funktion f : X →1⁄20; 1 på datamängden E S 1⁄2f 1⁄4 FORSKNINGSRAPPORTER som används för att uppskatta det förväntade värdet av f på ett prov som slumpmässigt dras från distributionen P eller P1⁄2f 1⁄4 E x och P 1⁄2fðx. En mängd olika mängder av intresse för dataanalys kan uttryckas som förväntan E x och P 1⁄2fðx på någon funktion f på P. Exempel inkluderar sanna medel och ögonblick av enskilda attribut, korrelationer mellan attribut och generalisering fel av en prediktiv modell. Dessutom räcker det med tillräckligt exakta uppskattningar av dessa förväntningar för urval och bedömning av modeller. Datasetet S delas slumpmässigt in i utbildnings- och holdoutset (S t och S h, respektive), och dataanalytikern får utforska utbildningssetet utan begränsningar och generera funktioner f för att uppskatta förväntningarna på P. Analytikern får endast komma åt S h genom Thresholdout. Thresholdout tar holdout och träningsset som input och, för alla funktioner som ges av analytikern, ger statistiskt giltiga uppskattningar av varje funktions förväntningar på P. Särskilt, för en tillräckligt stor holdout set, Thresholdout garanterar att för varje funktion f : X → 0,50; 1 genereras av analytikern, kommer det att returnera ett värde v f sådan att jv f − P1⁄2fj≤t, med sannolikhet minst 1 -b, för analytikerns val av fel t och förtroende b. Sannolikheten utrymme är över det slumpmässiga valet av dataelement i S h och S t och slumpmässigheten införs av mekanismen. Vi betonar att uppskattningarna är garanterade att vara korrekta med avseende på den verkliga fördelningen, även när funktionerna genereras sekventiellt och adaptivt av analytikern, upp till ett stort antal funktioner. Vår algoritm kan på motsvarande sätt ses som att producera konservativa konfidensintervall på adaptivt valda sekvenser av linjära funktioner [för den formella anslutningen till konfidensintervall, se avsnitt 4 i (17)]. Med tanke på en funktion f kontrollerar algoritmen först om skillnaden mellan medelvärdet för f på träningssetet S t (betecknat av E St 1⁄2f) och medelvärdet för f på holdoutsetet S h (betecknat av E Sh 1⁄2f) ligger under ett visst tröskelvärde T + h. Här är T ett fast tal som 0,01, och h är en Laplace-bullervariabel med standardavvikelse som är mindre än T med en liten faktor som 4. [Laplace-distributionen är en symmetrisk exponentiell fördelning. Lägga till Laplace-buller är en av de mest grundläggande operationerna i differentiell integritet (13).] Om skillnaden är under tröskeln, då algoritmen returnerar E St 1⁄2f; det vill säga värdet av f på träningssetet. Om skillnaden är över tröskeln, då algoritmen returnerar det genomsnittliga värdet av funktionen på hållplatsen efter att ha lagt till Laplacian brus; det vill säga, E Sh 1⁄2f x (där x är en slumpmässig variabel som fördelas enligt Laplace fördelningen). Även om det är mycket enkelt, Thresholdout ger en förvånansvärt stark garanti. Informellt, garantin är att för varje fast noggrannhet parameter t, Thresholdout kan fortsätta att validera uppskattningar på utbildningsset tills antingen det totala antalet begärda funktioner blir exponentiellt stor i storleken på S h eller antalet funktioner som misslyckas valideringen (vilket innebär genomsnittliga värden på S h och S t skiljer sig mer än den bullriga tröskeln) blir fyrfaldigt stor i storleken S h. Vår garanti kan därför tolkas som att säga att Thresholdout upptäcker ett fyrdubblat antal funktioner som överpassar till utbildningen uppsättning (eller falska upptäckter) och uppstår på grund av anpassningsförmåga; dessutom, Thresholdout ger en korrekt uppskattning av förväntan för dessa funktioner. Vi beskriver ytterligare detaljer om genomförandet av Thresholdout och de formella garantier som den uppfyller i avsnitt 2 i (17). Vi beskriver ett enkelt experiment på syntetiska data som illustrerar risken att återanvända en standard holdout set och hur denna fråga kan lösas genom vår återanvändbara holdout. Designen av detta experiment är inspirerad av Freedmans klassiska experiment, som visade farorna med att utföra variabelt urval och regression på samma data (18). Experimentet brukar kallas "Freedmans paradox" på grund av den förvånansvärt starka effekten på resultatens giltighet. I vårt experiment vill analytikern bygga en klassificerare via följande gemensamma strategi. För det första finner analytikern en uppsättning enstaka attribut som är korrelerade med klassetiketten. Därefter aggregerar han eller hon de korrelerade variablerna till en enda modell med högre noggrannhet (t.ex. med hjälp av booster- eller paketeringsmetoder). Mer formellt får analytikern en d-dimensionellt märkt dataset S i storlek 2n och delar upp det slumpmässigt i ett träningsset S t och ett holdoutset S h av samma storlek. Vi betecknar ett element av S med en tuple (x,y), där x är en d-dimensionell vektor och y på 1; 1g är motsvarande klassetikett. Analytikern vill välja variabler som ska ingå i klassificeringen.  Största absoluta korrelationer med etiketten. Dock kontrollerar han eller hon korrelationerna (med etiketten) på hållplatsen och använder endast de variabler vars korrelation överensstämmer med korrelationen på träningssetet och för vilka båda korrelationerna är större än någon tröskel i absolut värde. Analytikern skapar sedan en enkel linjär tröskelklassificering för de valda variablerna med hjälp av endast tecken på korrelationerna mellan de valda variablerna. En slutlig provning utvärderar klassificeringsnoggrannheten hos klassificeringsanordningen på holdout-setet. Fullständiga uppgifter om analytikerns algoritm finns i avsnitt 3 i (17). I vårt första experiment dras varje attribut oberoende av den normala fördelningen N(0,1), och vi väljer klassetiketten y  på ett slumpmässigt sätt så att det inte finns någon korrelation mellan datapunkten och dess etikett. Vi valde n = 10 000 och d = 10 000 och varierade antalet utvalda variabler k. I detta scenario kan ingen klassificerare uppnå sann noggrannhet bättre än 50%. Återanvändning av en standard holdout resulterar dock i rapporterad noggrannhet på >63 ± 0,4 % för k = 500 på både träningssetet och holdoutsetet. Den genomsnittliga och standardavvikelsen för resultat som erhållits från 100 oberoende utföranden av försöket ritas i bild. 1A, som också inkluderar noggrannheten hos klassificeringen på en annan färsk datamängd av storlek n dras från samma fördelning. Vi utförde sedan samma algoritm med vår återanvändbara holdout. Algoritm Thresholdout åberopades med T = 0.04 och t = 0.01, vilket förklarar varför noggrannheten hos den klassificering som rapporterats av Thresholdout är av med upp till 0.04 när noggrannheten på holdout-setet ligger inom 0.04 av noggrannheten på träningssetetet. Tröskelvärden förhindrar algoritmen från att överbestämma till holdout-setet och ger en giltig uppskattning av klassificeringsnoggrannheten. På bild. 1B, Vi ritar exaktheten av klassificeringen som rapporteras av Thresholdout. Dessutom, i fikon. S2 vi inkluderar en tomt av den faktiska noggrannheten hos den producerade klassificeringen på holdout set. I vårt andra experiment korreleras klassetiketterna med några av variablerna. Som tidigare väljs etiketten slumpmässigt från {-1,1} och var och en av attributen dras från N(0,1), bortsett från 20 attribut som dras från N(y·0.06.1), där y är klassetiketten. Vi utför samma algoritm på denna data med både standard holdout och thresholdout och rita resultaten i bild. 2............................................................... Vårt experiment visar att när man använder den återanvändbara holdouten, hittar algoritmen fortfarande en bra clasfier samtidigt som den förhindrar övermontering. Överensstämmande med standard holdout set uppstår i vårt experiment eftersom analytikern återanvänder holdouten efter att ha använt den för att mäta korrelationen av enskilda attribut. Vi noterar först att varken korsvalidering eller bootstrap löser denna fråga. Om vi använde någon av dessa metoder för att validera korrelationerna, skulle övermontering fortfarande uppstå som ett resultat av att använda samma data för utbildning och validering (av den slutliga klassificeringen). Det är frestande att rekommendera andra lösningar på det specifika problem som vi grundade vårt experiment på. Ett stort antal metoder i statistiklitteraturen behandlar slutsatsen om fasta tvåstegsförfaranden där det första steget är variabelt urval [se (5) för exempel]. Vårt experiment visar att även i sådana enkla och standardinställningar, undviker vår metod falska upptäckter utan att behöva använda en specialiserad procedur och, naturligtvis, sträcker sig mer brett. Ännu viktigare är att den återanvändbara holdouten ger analytikern en allmän och principiell metod för att utföra flera valideringssteg där den enda kända säkra metoden tidigare var att samla in en ny holdout-uppsättning varje gång en funktion beror på resultaten av tidigare valideringar.
I bilagan diskuterar vi kopplingarna mellan ömsesidig information och en nyligen införd åtgärd som kallas maxinformation REF.
The reusable holdout: Preserving validity in adaptive data analysis
{'venue': 'Science', 'journal': 'Science', 'mag_field_of_study': ['Medicine', 'Computer Science']}