Abstract-I detta dokument behandlar vi problemet med att utföra statistiska slutsatser för storskaliga dataset, dvs. Big Data. Datans volym och dimensionalitet kan vara så hög att den inte kan behandlas eller lagras i en enda datanod. Vi föreslår en skalbar, statistiskt robust och beräkningseffektiv bootstrap-metod som är kompatibel med distribuerade bearbetnings- och lagringssystem. Bootstrap omprov är konstruerade med mindre antal distinkta datapunkter på flera separata delmängder av data, på samma sätt som påse av liten bootstrap metod (BLB) [1]. Sedan betydande besparingar i beräkningen uppnås genom att undvika recomputation av estimatorn för varje bootstrap prov. Istället är en beräkningseffektiv estimeringsekvation för fasta punkter analytiskt löst genom en smart approximation enligt Fast and Robust Bootstrap-metoden (FRB) [2]. Vår föreslagna bootstrap-metod underlättar användningen av mycket robusta statistiska metoder för att analysera storskaliga datamängder. Metodens gynnsamma statistiska egenskaper fastställs analytiskt. Numeriska exempel visar skalbarhet, låg komplexitet och robust statistisk prestanda av metoden i att analysera stora datamängder. Index Terms-bootstrap, väska med små bootstraps, snabb och robust bootstrap, big data, robust uppskattning, distribuerad beräkning.
I REF analyseras skalbara statistiskt robusta och beräkningseffektiva metoder, som liknar bag-of-little-bootstrap metoden.
Robust, scalable and fast bootstrap method for analyzing large scale data
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}