Eftersom användningen av maskininlärning (ML) genomsyrar olika tillämpningsområden finns det ett akut behov av att stödja ett deklarativt ramverk för ML. I idealfallet kommer en användare att ange en ML-uppgift på ett språk på hög nivå som är lätt att använda och ramen kommer att åberopa lämpliga algoritmer och systemkonfigurationer för att utföra den. En viktig observation för att utforma en sådan ram är att många ML uppgifter kan uttryckas som matematiska optimeringsproblem, som tar en specifik form. Dessutom kan dessa optimeringsproblem lösas effektivt med hjälp av variationer i lutningsnedstigningsalgoritmen (GD). För att frikoppla en användarspecifikation för en ML-uppgift från dess utförande är en nyckelkomponent en GD-optimerare. Vi föreslår en kostnadsbaserad GD-optimerare som väljer den bästa GD-planen för en given ML-uppgift. För att bygga vår optimizer introducerar vi en uppsättning abstrakta operatörer för att uttrycka GD-algoritmer och föreslår en ny metod för att uppskatta antalet iterationer som en GD-algoritm kräver för att konvergera. Omfattande experiment på verkliga och syntetiska dataset visar att vår optimerare inte bara väljer den bästa GD-planen utan också möjliggör optimeringar som uppnår order av magnitud prestanda upphastighet.
En kostnadsbaserad optimizer som väljer mellan sekventiell BGD och SGD föreslås i REF.
A Cost-based Optimizer for Gradient Descent Optimization
{'venue': "SIGMOD '17", 'journal': None, 'mag_field_of_study': ['Computer Science']}