Abstrakt. Moderna datacenter som tillhandahåller Internet-scale-tjänster är stadion-size strukturer med tiotusentals heterogena enheter (serverkluster, nätverksutrustning, kraft- och kylinfrastruktur) som måste fungera kontinuerligt och tillförlitligt. Som en del av deras drift, dessa enheter producerar stora mängder data i form av händelse-och felloggar som är nödvändiga inte bara för att identifiera problem utan också för att förbättra datacenter effektivitet och hantering. Dessa aktiviteter använder sig av dataanalys och utnyttjar ofta dolda statistiska mönster och korrelationer bland olika faktorer som finns i uppgifterna. Uncovering dessa mönster och korrelationer är utmanande på grund av den rena volymen av data som ska analyseras. I detta dokument presenteras BiDAl, en prototyp "log-data analysram" som innehåller olika Big Data-teknik för att förenkla analysen av data spår från stora kluster. BiDAl är skrivet i Java med en modulär och extensibel arkitektur så att olika lagringsbackends (för närvarande stöder HDFS och SQLite), samt olika analysspråk (nuvarande implementation stöder SQL, R och Hadoop MapReduce) enkelt kan väljas. Vi presenterar designen av BiDAl och beskriver vår erfarenhet med hjälp av den för att analysera flera offentliga spår av Google datakluster för att bygga en simuleringsmodell som kan reproducera observerat beteende.
BiDAi REF är en log data analysram som använder big data teknik för analys av stora kluster spår.
BiDAl: Big Data Analyzer for Cluster Traces
{'venue': 'proc. INFORMATIK 2014 Workshop on System Software Support for Big Data (BigSys 2014), Lecture Notes in Informatics (LNI), Volume P-232, pp. 1781-1795, ISBN 78-3-88579-626-8, ISSN 1617-5468', 'journal': None, 'mag_field_of_study': ['Computer Science']}