Skalbarhet och feltolerans är två grundläggande utmaningar för all distribuerad dator på Internetskala. Trots många senaste framsteg från både den akademiska världen och industrin är dessa två problem fortfarande långt ifrån lösta. I detta dokument presenterar vi Fuxi, ett resurshanterings- och arbetsplaneringssystem som kan hantera den typ av arbetsbelastning i Alibaba där hundratals terabyte data genereras och analyseras varje dag för att hjälpa till att optimera företagets affärsverksamhet och användarupplevelser. Vi använder flera nya tekniker för att göra det möjligt för Fuxi att utföra effektiv schemaläggning av hundratusentals samtidiga uppgifter över stora kluster med tusentals noder: 1) ett inkrementellt resurshanteringsprotokoll som stöder multidimensionell resursfördelning och datalokalisering; 2) användartransparent felåterställning där fel på någon Fuxi-komponenter inte kommer att påverka utförandet av användarjobb; och 3) en effektiv detekteringsmekanism och ett flernivå svartlistningssystem som hindrar dem från att påverka utförandet av jobb. Våra utvärderingsresultat visar att 95% och 91% schemalagd CPU / minnesanvändning kan uppfyllas under syntetisk arbetsbelastning, och Fuxi kan uppnå 2,36T-B / minut genomströmning i GraySort. Dessutom upplever samma Fuxi-jobb bara cirka 16 % avmattning under en felinjektionsfrekvens på 5 %. Avmattningen ökar bara till 20 procent när vi fördubblar felinjiceringen till 10 procent. Fuxi har varit utplacerad i vår produktionsmiljö sedan 2009 och hanterar nu hundratusentals servernoder.
Fuxi REF förbättrar feltoleransen och skalbarheten hos RM genom att införa funktionsfunktioner för användartransparent felåterställning och en feldetekteringsmekanism.
Fuxi: a Fault-Tolerant Resource Management and Job Scheduling System at Internet Scale
{'venue': 'PVLDB', 'journal': 'PVLDB', 'mag_field_of_study': ['Computer Science']}