Vi fastställer optimala konvergensnivåer för en sönderdelningsbaserad skalbar strategi för kärnryggsregression. Metoden är enkel att beskriva: den partitionerar slumpmässigt ett dataset av storlek N till m-undergrupper av samma storlek, beräknar en oberoende kärnorkam regressionsestimat för varje delmängd, sedan medelvärder de lokala lösningarna till en global prediktor. Denna partitionering leder till en betydande minskning av beräkningstiden jämfört med standardmetoden för att utföra kornryggsregression på alla N-prov. Våra två huvudsakliga teorem fastslår att trots beräkningshastighet, statistisk optimalitet behålls: så länge m inte är för stor, den partitionsbaserade estimator uppnår den statistiska minimax-hastigheten över alla estimatorer med hjälp av uppsättningen N prover. Som konkreta exempel garanterar vår teori att antalet processorer m kan växa nästan linjärt för finita kärnor och Gaussiska kärnor och polynomialt i N för Sobolev utrymmen, vilket i sin tur möjliggör betydande minskningar i beräkningskostnaden. Vi avslutar med experiment på både simulerade data och en musikprediction-uppgift som kompletterar våra teoretiska resultat och uppvisar de beräkningsmässiga och statistiska fördelarna med vårt tillvägagångssätt.
REF-studien delar upp och erövrar kornryggens regression, vilket visar att den partitionsbaserade estimatorn uppnår den statistiska minimax-hastigheten över alla estimatorer.
Divide and Conquer Kernel Ridge Regression: A Distributed Algorithm with Minimax Optimal Rates
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}