Abstrakta framsteg inom datateknik har gjort det möjligt för företag att samla data med en aldrig tidigare skådad hastighet. Storskaliga affärsdata kan innehålla miljarder observationer och tusentals funktioner, vilket lätt för deras skala till terabytes nivå. De flesta traditionella funktionsvalsalgoritmer är utformade och implementerade för en centraliserad datorarkitektur. Deras användbarhet försämras avsevärt när datastorleken överstiger tiotals gigabyte. Högpresterande distribuerade datorramar och protokoll, såsom Message Passing Interface (MPI) och MapReduce, har föreslagits för att underlätta mjukvaruutveckling på nätinfrastrukturer, vilket gör det möjligt för analytiker att hantera storskaliga problem på ett effektivt sätt. Detta dokument presenterar en ny storskalig funktionsvalsalgoritm som bygger på variansanalys. Algoritmen väljer funktioner genom att utvärdera deras förmåga att förklara datavarians. Den stöder både övervakade och oövervakade funktionsval och kan enkelt implementeras i de flesta distribuerade datormiljöer. Algoritmen genomfördes som en SAS High-Performance Analytics-procedur, som kan läsa data i distribuerad form och utföra parallellfunktionsval i både symmetriskt multiprocessorläge (SMP) och massivt parallellbehandlingsläge (MPP). Experimentella resultat visade den föreslagna metodens överlägsna prestanda för urval av storskaliga funktioner.
Zhao m.fl. REF presenterade en distribuerad parallell funktion val metod baserad på variansbevarande med SAS High-Performance Analytics 2 egenutvecklad programvara.
Massively parallel feature selection: an approach based on variance preservation
{'venue': 'Machine Learning', 'journal': 'Machine Learning', 'mag_field_of_study': ['Computer Science']}