Feature Selection (FS) är en viktig teknik inom maskininlärning och datautvinning, särskilt för storskaliga högdimensionella data. De flesta befintliga studier har begränsats till batch-inlärning, som ofta är ineffektiv och dåligt skalbar vid hantering av stora data i verkligheten. Eftersom verkliga data kan anlända sekventiellt och kontinuerligt, batch lärande måste omskola modellen för de nya kommande data, som är mycket beräkningsintensiv. Online-funktionsval (OFS) är ett lovande nytt paradigm som är mer effektivt och skalbart än batch-lärande algoritmer. Befintliga online-algoritmer är dock vanligtvis otillräckliga när det gäller deras sämre effektivitet. I den här artikeln presenterar vi en ny andra ordningens OFS-algoritm som är enkel men ändå effektiv, mycket snabb och extremt skalbar för att hantera storskaliga ultra-högdimensionella glesa dataströmmar. Grundidén är att utnyttja den andra ordningens information för att välja delmängd av viktiga funktioner med hög konfidensintervall vikter. Till skillnad från befintliga OFS-metoder som ofta lider av extra höga beräkningskostnader, utformar vi en ny algoritm med en MaxHeap-baserad metod, som inte bara är effektivare än de befintliga förstaorderalgoritmerna, utan också betydligt effektivare och mer skalbar. Våra omfattande experiment validerade att den föreslagna tekniken uppnår mycket konkurrenskraftig noggrannhet jämfört med state-of-the-art sats FS-metoder, under tiden konsumerar det betydligt mindre beräkningskostnader som är storleksordningar lägre. Imponerande, på en miljard skala syntetiska dataset (1 miljarder dimensioner, 1 miljard icke-noll funktioner, och 1 miljon prover), den föreslagna algoritmen tar mindre än 3 minuter att köra på en enda dator.
Wu och Al. REF presenterade en enkel men smart andra-order online funktionsvalalgoritm som är extremt effektiv, skalbar till stor skala och ultra-hög dimensionalitet.
Large-Scale Online Feature Selection for Ultra-High Dimensional Sparse Data
{'venue': 'TKDD', 'journal': None, 'mag_field_of_study': ['Mathematics', 'Computer Science']}