Statistiker ställs i allt högre grad inför tankeväckande och till och med paradoxala frågor som utmanar våra kvalifikationer för att komma in i de statistiska paradis som skapats av Big Data. Genom att utveckla åtgärder för datakvalitet föreslår denna artikel en ram för att ta itu med en sådan fråga: "Vilken ska jag lita på mer: en undersökning på 1 % med 60 % svarsfrekvens eller en självrapporterad administrativ datauppsättning som omfattar 80 % av befolkningen?" En 5-elements Eulerformulaliknande identitet visar att för alla datauppsättningar av storlek n, probabilistiska eller inte, är skillnaden mellan provets genomsnitt X n och populationens genomsnitt X N produkten av tre termer: (1) ett datakvalitetsmått, ρ R,X, korrelationen mellan X j och respons/registreringsindikatorn R j ; (2) ett datamängdsmått, där N är befolkningsstorleken; och (3) ett problematiskt mått, σ X, standardavvikelsen för X. Denna nedbrytning ger flera insikter: (I) Probabilistisk provtagning säkerställer hög datakvalitet genom att kontrollera ρ R,X på nivån N −1/2 ; (II) När vi förlorar denna kontroll, effekten av N inte längre avbryts av ρ R,X, vilket leder till en lag av stora populationer (LLP), det vill säga vår uppskattning fel, i förhållande till riktvärdet 1/ ε n, ökar med ε N; och (III) "storheten" av sådana stora data (för populationsslut) bör mätas med relativ storlek f = n/N, inte den absoluta storleken n; (IV) När man kombinerar datakällor för populationsslut, de relativt små men högre kvalitet bör ges mycket mer vikt än vad som föreslås av deras storlek. Uppskattningar som erhållits från Cooperative Congressional Val Study (CCES) av 2016 US President val föreslår en ρ R,X - 0.05 för självrapportering för att rösta på Donald Trump. På grund av LLP, detta till synes minimala data defekt korrelation innebär att den enkla urvalsandelen av den självrapporterade röst preferensen för Trump från 1% av de amerikanska berättigade väljare, det vill säga n  på 2.300.000, har samma genomsnittliga kvadrat fel som motsvarande urvalsandel från en äkta enkel slumpmässigt urval av storlek n  på 400, en 99.98% minskning av urvalsstorlek (och därmed vårt förtroende). De åtgärder som föreskrivs i denna förordning är förenliga med yttrandet från ständiga kommittén för växter, djur, livsmedel och foder.
REF ställer frågan "Vilken ska vi lita på mer, ett urval på 5 % av enkäten eller 80 % av de administrativa uppgifterna?" och inför begreppet "datadefektindex" för att göra undersökningarna mer jämförbara.
Statistical paradises and paradoxes in big data (I): Law of large populations, big data paradox, and the 2016 US presidential election
{'venue': None, 'journal': 'The Annals of Applied Statistics', 'mag_field_of_study': ['Mathematics']}