Från vetenskapliga experiment till online A/B-tester påverkar tidigare observerade data ofta hur framtida experiment utförs, vilket i sin tur påverkar vilka data som ska samlas in. En sådan anpassningsförmåga medför komplexa samband mellan uppgifterna och insamlingsförfarandet. I detta dokument bevisar vi att när datainsamlingsförfarandet uppfyller naturliga villkor, då provmedel av data har systematiska negativa fördomar. Som ett exempel, överväga en adaptiv klinisk prövning där ytterligare datapunkter är mer sannolikt att testas för behandlingar som visar initialt löfte. Vårt överraskande resultat antyder att de genomsnittliga observerade behandlingseffekterna skulle underskatta de verkliga effekterna av varje behandling. Vi analyserar kvantitativt omfattningen och beteendet av denna negativa fördomar i en mängd olika inställningar. Vi föreslår också en ny fördomsalgoritm baserad på selektiva inferenstekniker. I experiment kan vår metod effektivt minska fel i förutfattade meningar och skattningar. Våra bidrag. Vi studerar problemet med estimering med hjälp av adaptivt insamlade data. Vi bevisar att när adaptiv datainsamling förfarande uppfyller två naturliga villkor (precis definieras i arXiv:1708.01977v1 [stat.ML] 7 aug 2017 Sec. 2), sedan provet medelvärdet av de insamlade uppgifterna är negativt partisk som en estimator för det verkliga medelvärdet. Detta innebär att den empiriskt observerade effekten är mindre än den verkliga effektstorleken för varje alternativ. Vi ger intuition för detta kontraintuitiva resultat, och jämföra och analysera omfattningen av denna negativa fördomar över olika villkor och insamlingsförfaranden. Vi föreslår sedan en ny randomiserad algoritm som kallas den villkorliga Maximum Sanelihood Estimator (cMLE) baserad på selektiv inferens för att minska denna allestädes närvarande partiskhet, och jämföra den med en enkel metod med hjälp av en oberoende uppsättning av hållna data. Vi validerar prestandan hos vår algoritm för snedreduktion i omfattande experiment. Alla bevis och ytterligare experiment finns i bilagan. Relaterade arbeten. Multi-arm banditer och dess variationer studeras ingående i maskininlärning. Målet med vårt arbete skiljer sig från den vanliga banditinställningen. I banditer provtogs data från en arm (dvs. ett av alternativen) betraktas som en belöning och målet är att utforma adaptiva algoritmer för att plocka armar för att maximera total belöning (eller minimera ånger). Vårt mål är inte att konstruera sådana algoritmer och vi är agnostiska mot belöningen. Vi tar perspektivet av en analytiker som ges en sådan adaptivt insamlade dataset och vill uppskatta statistiska parametrar. Xu et al [24] empiriskt observerad skattningsfördel på grund av urval i specifika multiarmbanditalgoritmer. De var främst intresserade av att uppskatta värdena på de två översta armarna och använde datadelning med en hållen uppsättning i sina experiment för att minska partiskhet. Vi är först med att rigoröst bevisa att en sådan underskattning är ett allmänt fenomen. Vår cMLE metod bygger på de senaste framstegen i selektiv inferens [19, 22], som härleder giltiga konfidensintervall redovisning för urvalseffekter av algoritmen. Selektiv slutsats har tillämpats på regressionsproblem (t.ex. LASSO, Stegvis regression), och har inte beaktats för den adaptiva datainsamlingen tidigare. Vi bygger vidare på resultat från den senaste utvecklingen på detta område [22, 21, 11]. Problemet med urvalsfördomar har studerats ingående, särskilt i samband med Winner's Curse i genetiska föreningsstudier [12]. Det finns ingen adaptiv uppgiftsinsamlingskomponent till denna urvalsfördel; snarare beror fördomarna på selektiv rapportering. Det finns en relaterad linje för det senaste arbetet [7] [17] i en adaptiv dataanalys som kompletterar vår. Där är datan fast (och är typiskt i.i.d.) Och adaptiviteten finns i analytikern. I vårt arbete är däremot själva datainsamlingen anpassningsbar.
Tillsammans med ett resultat på tecken på partiskhet föreslår REF också villkorliga sannolikhetsoptimeringsmetoder för att uppskatta parametrar för den linjära modellen.
Why adaptively collected data have negative bias and how to correct for it
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}