En gemensam metod för statistisk inlärning om big data är att slumpmässigt fördela den mellan m maskiner och beräkna parametern av intresse genom att slå samman sina m individuella uppskattningar. Två viktiga frågor i samband med detta tillvägagångssätt är: Vad är det optimala aggregationsförfarandet, och vad är noggrannhetsförlusten i jämförelse med centraliserad beräkning. Vi gör flera bidrag till dessa frågor, inom den allmänna ramen för empirisk riskminimering, alias. Uppskattning. Eftersom data är riklig, antar vi antalet prover per maskin, n, är stor och studera två asymptotiska inställningar: en där n → ❌ men antalet uppskattade parametrar p är fast, och ett andra högdimensionellt fall där båda p, n → ∞ med p / n → κ  på (0, 1). Våra huvudsakliga resultat inkluderar asymptotiskt exakta uttryck för den förlust som uppstår genom att dela upp data, där endast gränser tidigare var tillgängliga. Dessa härleds oberoende av inlärningsalgoritmen. Följaktligen, enligt lämpliga antaganden i fast-p-inställningen, är medelvärdet första ordningen motsvarar en centraliserad lösning, och därmed ärver statistiska egenskaper som effektivitet och robusthet. I högdimensionsmiljön, som studeras här för första gången i samband med parallellisering, framträder ett kvalitativt annorlunda beteende. Parallelliserad beräkning i allmänhet ådrar sig en noggrannhetsförlust, för vilken vi härleder en enkel ungefärlig formel. Vi avslutar med flera praktiska konsekvenser av våra resultat.
I systemet med höga dimensioner är genomsnitt inte ett effektivt sätt att aggregera Ref.
On the Optimality of Averaging in Distributed Statistical Learning
{'venue': None, 'journal': None, 'mag_field_of_study': ['Mathematics']}