Många system för big data analytics använder ett dataflöde abstraktion för att definiera parallella databehandlingsuppgifter. I denna inställning, anpassade åtgärder uttryckta som användardefinierade funktioner är mycket vanligt. Vi tar itu med problemet med att utföra dataflödesoptimering på denna abstraktionsnivå, där operatörernas semantik inte är känd. Traditionellt, frågeoptimering tillämpas på frågor med kända algebraiska semantik. I detta arbete finner vi att en handfull egenskaper, snarare än en fullständig algebraisk specifikation, räcker för att fastställa omordningsvillkor för personuppgiftsansvariga. Vi visar att dessa egenskaper kan uppskattas korrekt för Black Box operatörer genom att statiskt analysera den allmänna funktionskoden för deras användardefinierade funktioner. Vi designar och implementerar en optimizer för parallella dataflöden som inte tar kunskap om semantik eller algebraiska egenskaper hos operatörer. Vår utvärdering bekräftar att optimizern kan tillämpa vanliga omskrivningar såsom selection reordering, bushy couption, och begränsade former av aggregering push-down, vilket ger liknande omskrivningskraft som moderna relationella DBMS optimizers. Dessutom kan den optimera operatörens ordning av icke-relationella dataflöden, en unik egenskap bland dagens system.
I REF baseras optimeringarna på analysen av egenskaperna hos användardefinierade funktioner som implementerar databehandlingslogiken.
Opening the Black Boxes in Data Flow Optimization
{'venue': 'PVLDB', 'journal': 'PVLDB', 'mag_field_of_study': ['Computer Science']}