Abstract-Inom vetenskaplig infrastruktur forskare utför miljontals beräkningsjobb dagligen, vilket resulterar i förflyttning av petabyte av data över den heterogena infrastrukturen. Att övervaka dator- och användarverksamheten över en sådan komplex infrastruktur är oerhört krävande. De nuvarande lösningarna är traditionellt baserade på ett system för hantering av relativ databas (RDBMS) för lagring och behandling av data, men den senaste utvecklingen utvärderar Lambda Architecture (LA). I synnerhet dessa studier har utvärderat datalagring och satsbearbetning för bearbetning av storskaliga övervakningsdataset med hjälp av Hadoop och dess MapReduce-ramverk. Även om LA presterade bättre än RDBMS efter utvärderingen, var det ganska komplicerat att genomföra och underhålla. Detta dokument presenterar en optimerad Lambda Architecture (OLA) med Apache Spark ekosystem, vilket innebär att modellera ett effektivt sätt att ansluta batch beräkning och realtid beräkning transparent utan att behöva lägga till komplexitet. Några modeller utforskades: ren streaming, ren batch beräkning, och kombinationen av både batch och streaming. En utvärdering av OLA på Worldwide LHC Computing Grid (WLCG) Hadoop kluster och den offentliga Amazon molninfrastruktur för övervakning WLCG Data Activities (WDT) användningsfall presenteras båda, visar hur den nya arkitekturen kan erbjuda fördelar genom att kombinera både batch och realtid bearbetning för att kompensera för batch-bearbetning latency.
Att tillämpa Lambda arkitektur i en övervakning uppgift, Suthakar et al. REF använde Apache Spark ekosystemet för att optimera Lambda arkitektur.
Optimised Lambda Architecture for monitoring scientific infrastructure
{'venue': None, 'journal': 'IEEE Transactions on Parallel and Distributed Systems', 'mag_field_of_study': ['Computer Science']}