Numera har storskaliga distribuerade maskininlärningssystem använts för att stödja olika analys- och underrättelsetjänster i IT-företag. För att träna en stor datauppsättning och härleda förutsägelse/slutmodell, t.ex. ett djupt neuralt nätverk, körs flera arbetare parallellt med att träna partitioner av inmatningsdatauppsättningen, och uppdatera delade modellparametrar. I ett gemensamt kluster som hanterar flera utbildningsjobb är en grundläggande fråga hur man effektivt schemalägger jobb och sätter antalet samtidiga arbetstagare att köra för varje jobb, så att serverresurser utnyttjas maximalt och modellutbildning kan slutföras i tid. Rikta sig mot ett distribuerat maskininlärningssystem med hjälp av parameterserverramverket, designar vi en online-algoritm för schemaläggning av anländande jobb och bestämmer det justerade antalet samtidiga arbetare och parameterservrar för varje jobb under sin kurs, för att maximera den totala nyttan av alla jobb, beroende på deras slutförandetider. Vår online algoritm design använder en primal-dual ram i kombination med effektiva dubbla subrutiner, för att uppnå goda långsiktiga prestanda garantier med polynom tid komplexitet. Den praktiska effektiviteten hos online-algoritmen utvärderas med hjälp av spårdriven simulering och testbäddsexperiment, som visar dess prestanda jämfört med vanliga schemaläggningsalgoritmer i dagens molnsystem.
Bao och al. REF utformar en online schemaläggningsalgoritm för DL-jobb.
Online Job Scheduling in Distributed Machine Learning Clusters
{'venue': 'IEEE INFOCOM 2018 - IEEE Conference on Computer Communications', 'journal': 'IEEE INFOCOM 2018 - IEEE Conference on Computer Communications', 'mag_field_of_study': ['Computer Science']}