Det finns en kapprustning i datahanteringsindustrin för att stödja statistiska analyser. Feature val, processen att välja en funktionsuppsättning som kommer att användas för att bygga en statistisk modell, anses allmänt som det mest kritiska steget i statistisk analys. Därför hävdar vi att hanteringen av funktionen urvalsprocessen är en pressande datahantering utmaning. Vi studerar denna utmaning genom att beskriva ett funktionsvalsspråk och ett prototypsystem som bygger på de nuvarande industriella R-integrationsskikten. Från våra interaktioner med analytiker har vi lärt oss att funktionsvalet är en interaktiv människa-in-the-loop-process, vilket innebär att funktionsutbudets arbetsbelastning är full av möjligheter till återanvändning. Således studerar vi hur man materialiserar delar av denna beräkning med hjälp av inte bara klassiska databas materialisering optimeringar men också metoder som inte tidigare har använts i databasoptimering, inklusive strukturella nedbrytningsmetoder (som QR factorization) och varmstart. Dessa nya metoder har ingen analog i traditionella SQL-system, men de kan vara intressanta för array och vetenskapliga databastillämpningar. På en mängd olika datauppsättningar och program, finner vi att traditionella databas-stil metoder som ignorerar dessa nya möjligheter är mer än två storleksordningar långsammare än en optimal plan i denna nya kompromiss-off utrymme över flera R-backends. Dessutom visar vi att det är möjligt att bygga en enkel kostnadsbaserad optimal optimal optimal optimal optimal exekveringsplan för funktionsval.
Ett sätt att påskynda valet av funktioner är att förbehandla uppgifterna i förväg REF.
Materialization Optimizations for Feature Selection Workloads
{'venue': 'TODS', 'journal': None, 'mag_field_of_study': ['Computer Science']}