För att effektivt kunna schemalägga databehandlingsjobb på distribuerade datorkluster krävs komplexa algoritmer. Nuvarande system använder enkla, generaliserade heuristiker och ignorerar arbetsbelastningsegenskaper, eftersom det är ogenomförbart att utveckla och ställa in en schemaläggningspolicy för varje arbetsbelastning. I detta dokument visar vi att modern maskininlärningsteknik kan generera högeffektiv politik automatiskt. Decima använder förstärkning lärande (RL) och neurala nätverk för att lära arbetsbelastning-specifika schemaläggning algoritmer utan någon mänsklig undervisning utöver en hög nivå mål, såsom minimering genomsnittliga jobb slutförande tid. Off-the-shälf RL tekniker kan dock inte hantera komplexiteten och omfattningen av schemaläggning problem. För att bygga Decima var vi tvungna att utveckla nya representationer för jobbberoende grafer, design skalbara RL modeller, och uppfinna RL utbildningsmetoder för att hantera kontinuerliga stokastiska jobb ankomster. Vår prototypintegration med Spark på ett 25-node kluster visar att Decima förbättrar den genomsnittliga arbetstiden med minst 21 % över handjusterad schemaläggningsheuristics, vilket ger upp till 2× förbättring under perioder med hög klusterbelastning.
Decima REF föreslog en förstärkningsbaserad schemaläggare, som bearbetar frågeplaner via ett grafneuralt nätverk för att lära sig arbetsbelastningsspecifika schemaläggningspolicyer som minimerar frågelatens.
Learning scheduling algorithms for data processing clusters
{'venue': "SIGCOMM '19", 'journal': None, 'mag_field_of_study': ['Mathematics', 'Computer Science']}