Abstract-Vi presenterar OptEx, en sluten modell för utförande av jobb på Apache Spark, en populär parallell bearbetning motor. Såvitt vi vet är OptEx det första arbetet som analytiskt modellerar arbetets slutförandetid på Spark. Modellen kan användas för att uppskatta slutförandet av en given Gnista jobb på ett moln, med avseende på storleken på indatauppsättningen, antalet iterationer, antalet noder som består av den underliggande kluster. Experimentella resultat visar att OptEx ger en genomsnittlig relativ felprocent på 6% i uppskattningen av arbetets slutförandetid. Dessutom kan modellen användas för att uppskatta den kostnadsoptimala klustersammansättningen för att köra ett givet Spark-jobb på ett moln inom en tidsfrist som anges i SLO (dvs. tjänstenivåmålet). Vi visar experimentellt att OptEx korrekt kan uppskatta den kostnadsoptimala klustersammansättningen för att köra ett givet Spark-jobb under en SLO-deadline med en noggrannhet på 98 %.
För att förutsäga slutförandet av ett jobb och kostnaden för klustret med en deadline, Subhajit et al. I REF föreslogs en arbetstidsmodell baserad på mängden indata, storleken på de underliggande klusternoder och antalet iterationer.
OptEx: A Deadline-Aware Cost Optimization Model for Spark
{'venue': '2016 16th IEEE/ACM International Symposium on Cluster, Cloud and Grid Computing (CCGrid)', 'journal': '2016 16th IEEE/ACM International Symposium on Cluster, Cloud and Grid Computing (CCGrid)', 'mag_field_of_study': ['Computer Science']}