Reader Aids - Abstract -De flesta fel log analys studier utför en statistisk passform till data som antar en enda underliggande felprocess. I detta dokument presenteras resultaten av en analys som visar att loggen består av minst två felprocesser: övergående och intermittenta. Blandningen av data från flera processer kräver många fler händelser för att verifiera en hypotes med hjälp av traditionell statistisk analys. Baserat på formen av interarrival tid funktion av de intermittenta fel som observerats från faktiska fel loggar, en fel förutsägelse heuristic, Dispersion Frame Technique (DFT), utvecklas. DFT implementerades i ett distribuerat on-line-övervaknings- och prediktivt diagnostiskt system för det campusomfattande Andrew-filsystemet vid Carnegie Mellon University. Data som samlats in från 13 filservrar under en 22-månadersperiod analyserades med hjälp av både DFT och konventionella statistiska metoder. Det visas att DFT kan extrahera intermittenta fel från felloggen och använder endast en f i h av felloggens ingångspunkter som krävs av statistiska metoder för felprognoser. DFT uppnådde 93,7 % framgång i felprognoser för både elektromekaniska och elektroniska apparater. Trendanalys använder det allmänna systemet beteende som fångas i systemet felfiler för feldiagnos och felförutsägelse. Den grundläggande hypotesen är att det finns en period av instabilitet innan ett hårt misslyckande. Arbetet på CMU [8] har visat att denna hypotes är genomförbar genom att observera kluster av diskfel på DEC-datorer, där interarrivaltiderna för felhändelser visade sig minska innan reparationsåtgärden inleddes. Tsaos forskning fokuserade på utvecklingen av tupelkonceptet som en teknik för att organisera information och minska data, eftersom flera felrapporteringar ofta var det första hindret i dataanalysen. Ett annat tillvägagångssätt för att organisera information utvecklades vid universitetet i Illinois för att karakterisera förhållandet mellan fel som registrerats i en systemfellogg [2]. En probabilistisk modell användes för att automatiskt upptäcka symtom på ofta förekommande kvarstående fel i två stora Control Data Cyber-system. Det har visat sig att 85 % av de identifierade felsymptomen, som vanligen består av mer än 30 felhändelser ', motsvarade permanenta systemfel. Konceptet att observera systemtrender € eller felprognoser undersöktes ytterligare vid Stanford [6]. En metod som omfattade tre typer av analyser beskrevs: en genomsnittlig felfördelning för varje feltyp, en felfördelning för alla feltyper och ett fel-/CPU-utnyttjandeförhållande. Både individuella och totala felfördelningar visade ökande felgenereringsfrekvenser före en systemkrasch. En felförutsägelsealgoritm som bygger på upptäckt av stora felkluster, dvs. ett tröskelvärde för antalet fel, föreslogs. Preliminära resultat med ett genomsnitt av 113 fel för varje förutsägelse över sex månader av data analyserades visar en 60% chans till framgång. Även om denna metod har varken testats grundligt eller genomförts, åtminstone resultaten tydligt indikerade att fel förutsägelse baserat på en ökning av felfrekvensen, ett tröskelvärde felnummer, en CPU-användning tröskel, eller en kombination av dessa faktorer kan vara möjligt. De flesta tidigare arbeten har modellerat felloggar som om de producerades av en enda felkälla. Statistiska metoder används för att uppskatta parametrar och identifiera felkällan. Erfarenhet med felloggar tyder på att de blandar in poster från ett antal felkällor. Om felloggen analyseras för händelser som systemkrascher (som har en mängd orsaker), krävs mer data för att nå en statistiskt meningsfull slutsats än om händelserna sorterades i bidragande orsaker och analyserades separat. Dessutom är det svårare att generalisera och tillämpa på nya system när man analyserar flera felkällor som har blandats. Papperet är indelat i fem sektioner. I avsnitt 2 beskrivs det experimentella datainsamlingssystemet. Data användes i två studier: för att fastställa statistiska karakteristika för intermittenta och övergående fel i avsnitt 3 och för att validera en prediktiv trendanalysheuristik för intermittenta fel i avsnitt 4. I avsnitt 3 utvecklas en metod för att dela upp en fellogg i oberoende källor. Skiljemetoden bygger på det faktum att intermittenta fel inträffar igen, ofta i ökande takt. I avsnitt 3.2 används traditionella statistiska analysmetoder för varje intermittent felkälla som visar att det krävs minst 25 fel som sträcker sig upp till 18 månader för att identifiera utvecklingen. I avsnitt 3.3 är fel som inte är förknippade med en intermittent felkälla hänförda till en enda övergående felkälla där traditionell statistisk analys också tillämpas, vilket ger Weibull funktioner vars formparametrar är'I ett exempel som visas i tidningen, ett symptom extraheras från tre händelser med totalt 36 felposter. mindre än 1 O. Nästa avsnitt 3.4 tillämpar traditionell statistisk analys på den totala felloggen (dvs. alla intermittenta och övergående felkällor) och jämför de parametrar som extraheras med dem som härrör från analys av en artificiell fellogg som bildats genom att kombinera två rena felkällor. Likheter mellan de faktiska och konstgjorda felloggarna stöder konceptet att faktiska felloggar består av poster från flera felkällor. Därför är variationer mellan felloggar och inom en fellogg över tid en funktion av de relativa bidragen från varje ren felkälla. En bra arbetshypotes är att en enda transient och en enda intermittent felkälla finns i felloggen vid varje given tidpunkt. Baserat på erfarenheterna från factoring av felloggar till enskilda felkällor samt från intervjuer med underhållspersonal, en ny heuristisk, Dispersion Frame Technique (DFT) introduceras i avsnitt 4. DFT extraherar felloggposter som orsakas av enskilda intermittenta fel, och sedan tillämpar en av sina fem fel förutsägelse regler enligt interarrival mönster av felen. De fem reglerna visas för att fånga beteende motsvarande det som upptäcks av traditionella statistiska analystekniker. Dessutom använde DFT endast en femtedel av de felloggposter som krävs enligt statistiska metoder, och uppnådde en framgångsgrad på 93,7 % i felprognoser för både elektromekaniska och elektroniska enheter när de tillämpades på 22 månaders felloggdata från campussystemet Carnegie Mellon University (CMU) Andrew filsystem. Slutligen avslutar avsnitt 5 dokumentet. I synnerhet sammanfattas tidigare arbete med trendanalys inklusive både statistiska metoder med hjälp av Weibull-distributionen och DFT som visas i tabell 1. I tabellen anges tillvägagångssättet, det genomsnittliga antalet händelser som krävs för att identifiera en trend och den procentuella framgången med att tillämpa tillvägagångssättet. Även om de datamängder som används från enskilda källor skiljer sig åt, visar det ändå att DFT använder det minsta antalet datapunkter med tanke på liknande registreringsmetoder för felhändelser.  består av personliga arbetsstationer med rastergrafik, hög bandbredd nätverk, och ett tidsdelning filsystem som kallas VICE. För närvarande finns det 13 filservrar i VICE-filsystemet. Filserver hårdvara består av en SUN 2/170 (eller SUN 3/280) arbetsstation med en Motorola 68010 (eller 68020) mikroprocessor, en Xylogics 450 disk controller och Fujitsu Eagle disk enheter som var och en rymmer upp till 800 Megabyte. En filserver har högst två diskkontroller och varje styrenhet stöder upp till två diskenheter. Enligt publicerad statistik, är medeltiden mellan misslyckande (MTBF) av disketten 20 OOO timmar. Därför när filsystemet körs med full kapacitet med 52 diskenheter spridda över 13 filservrar, kan man förvänta sig ett hårddiskfel i filsystemet var 400:e timme2. Laddningen på filservrarna bestämdes empiriskt vara konstant med mycket liten variation över tid. En av de variabler (arbetsbelastning) som tidigare konstaterats påverka felfrekvensen kunde därför tas bort som en faktor som ledde till en förenklad analys. För att stödja felinsamling och analys ändrades enhetsdrivrutinen och felhanteringsprogrammet i SUN UNIX-kärnan. Denna programvara instrumentering möjliggör loggning av felmeddelanden före systemkrasch och samla in relevant information i varje kärnfelrapport i ett enhetligt format för analys. Dessutom utvecklades ett online-övervaknings- och prediktivt diagnostiskt system bestående av två större delar av programvaran, Agent och Diagserver, för VICE File System. Agenten, som är bosatt i noden under observation, är ansvarig för köp av kärnans meddelande. Den Diugserver, som är bosatt på en centraliserad webbplats, utför dataanalys för fel förutsägelse och diagnos. Detta dokument koncentrerar sig på frågor och tekniker när det gäller analys och förutsägelse av feldata. En detaljerad lista över kärnändringarna och arkitekturen för online-övervakning och prediktivt diagnostiskt system finns i [4]. Informationskällor för dataanalys inkluderar den automatiska felloggen för 13 VICE-filservrar, som samlats in av det on-line prediktiva diagnossystemet, och en operatörs logg. Uppgifter som samlats in från februari 1986, det första datumet för filserverdrift, fram till januari 1988, användes för att studera egenskaperna hos permanenta, övergående och intermittenta fel. Det ökande antalet filservrar som togs i bruk under tjugotvåmånadersperioden resulterade i totalt 20 arbetsstationers dataår. Fel anses vara tecken på fel. Således felloggen innehåller fel vars orsaker är fel. Det visas att den typiska felloggen innehåller händelser som orsakas av en blandning av övergående och intermittenta fel. Operatörens logg innehåller permanent felinformation samt reparationsåtgärder för att råda bot på problemet. Termerna intermittenta och övergående har använts utbytbart Andrew är programvara systemet som består av fyra stora komponenter som stöder Carnegie Mellon University storskalig distribuerad datormiljö. Miljökon2Men den observerade filsystemdisken medeltid mellan fel är 1671 timmar och systemet medeltid att krascha på grund av alla svåra fel är 504 timmar [Lin 881.  LIN/SIEWIOREK: ERROR LOG ANALYSIS: STATISTISK MODELERING OCH HEURISTISK TREND ANALYS Misslyckandets fördelning karakteriserar matematiskt sannolikheten för systemfel som en funktion av tiden. De exponentiella, gamma, Weibull och lognormala är alla välkända distributioner i felanalys [5]. Weibull-funktionen används i denna forskning och definieras som: där a är formparametern, och X är skalparametern. Observera att när en är lika med 1, minskar distributionsfunktionen till den exponentiella: Riskfunktionen är den tidsvarierande felfrekvensen. Riskfunktionen Weibull definieras som: Formparametern a påverkar farofunktionen direkt enligt följande: Om CY c 1, minskar farofunktionen med tiden; Om a = 1, är farofunktionen konstant med tiden, dvs. om a > 1, ökar farofunktionen med tiden. Det har föreslagits att övergående fel kännetecknas av en < 1, permanenta fel av a = 1, och intermittenta fel av en > 1 [7]. I vår studie av permanenta fel (dvs. de som erhållits från operatörens logg som innebär faktiska reparationer), visade statistiken en uppskattning av en till 0,92 och uppgifterna följde en exponentiell fördelning inom 0,05 grad av betydelse [4]. I detta dokument kommer vi att visa att en < 1 är lämplig för transienter, medan en > 1 är en förenkling för intermittenta fel. Vi måste dock först utveckla en metod för att skilja felloggen från dess grundläggande felkällor. exponentiell distribution; Eftersom intermittenta fel kan repareras genom utbyte, är de förknippade med ett fysiskt delsystem, som ibland kallas en fältutbytbar enhet (FRU). Felloggposter identifieras av den mekanism för upptäckt av maskin- eller programvarufel som rapporterade felet. För varje FRU konstruerades en tidslinje, som endast bestod av de felloggposter som identifierar FRU. Eftersom en FRU kan repareras flera gånger under studiet, krävdes en heurist för att skilja mellan två oberoende intermittenta fel. Den tidsbaserade klustring heuristiska tidigare används för att kollapsa flera fel logg händelser i en enda logisk händelse [8] förlängdes för att kollapsa flera intermittenta fel i en enda fysisk fel. Systemoperatörens logg användes för att identifiera de reparationsaktiviteter som kulminerade i införandet av en ny FRU. Det fanns 29 reparationer av hårdvarufel i 22 månaders observation inklusive 7 diskar, 7 processorer, 7 minnestavlor, och 8 disk regulatorer. Om interarrivaltiden mellan fel på en FRU:s tidslinje var mer än en vecka från varandra (168 timmar), ansågs felen vara orelaterade och tidslinjens tillväxt avslutades. Felhändelser kvar på en tidslinje kallades intermittent medan alla andra kallades övergående. Tröskelvärdet 168 timmar valdes baserat på två observationer. För det första, i studien av övergående fel, som diskuteras i avsnitt 3.3, befanns den genomsnittliga interarrivaltiden för transienta oavsett FRU vara 354 timmar för alla system, och det minsta medelvärdet som observerades i ett enskilt system var 154 timmar. De övergående data analyserades för flera trösklar mellan 154 till 354, men alla resulterade i samma Weibull parametrar. För det andra valdes 168 timmar för att fastställa ett enda tröskelvärde för att undvika potentiella cykliska mönster på grund av det dagliga beroendet av arbetsbelastning. Tidslinjerna för 16 av de 29 reparationsåtgärderna och deras intermittenta fel visas i [4]. De återstående 13 hade färre än fem felposter, för få för analys. Fyra av dessa tidslinjer återges i figur 1 med'+' som representerar enhetsfel och 'A' som anger reparation av enheten. Perioder av ökande felfrekvens, som antingen visas som kluster av fel eller minska interarrival gånger mellan fel (föreslå en Weibull felfördelning med en > l), observeras. Även om de klustermönster som visas i figur 1 sträckte sig ca 200 timmar, de flesta av de 16 fel som registrerade fel logg aktivitet föregicks av fellogg poster över lo00 timmar före reparation.  Modellering av intermittenta fel börjar med analysen av de interarrival tiderna av deras manifestationer (t.ex. fel) [7]. Detta görs genom att beräkna skillnaden mellan tidsstämpelinformationen för varje intermittent fel och genom att formulera farofunktionen för att identifiera den tillhörande distributionsfunktionen. En linjär regressionsanalys utfördes på interarrivaltidsdata för att uppskatta den maximala sannolikheten för Weibull-parametrarna. Tekniken är baserad på omvandlingen av Weibull kumulativ fördelning funktion till en linjär funktion av In (t), där de ursprungliga elementen (Y och X erhålls från lutningen och Y-intercept av den raka linjen. De linjära skattningarna kan användas som initialvärden för en iterativ Newton-Raphson-lösningsmetod för att erhålla maximal sannolikhet för skattningar av (YML och XML). Därefter, en chisquare godhet av passform utförs för att utvärdera passformen av Weibull till de observerade data. En signifikansnivå på 0,05 valdes, vilket innebär att sannolikheten för att en chi-square slumpmässig variabel med m-grader av frihet, där m beräknas som antalet kategorier3 minus antalet parametrar som ska uppskattas minus 1, kommer att överstiga x," är c (dvs. 0,05). Kategorier väljs så att de förväntade observationerna i varje kategori inte är mindre än 4. Anmärkning 1. Reparationsåtgärder 7 & 8 inträffade inom en kort tidsperiod. Skivstyrenheten ersattes på grund av en rad diskfel. Men xy2 disk förlorades vid power up. Datapunkter redovisades därför för båda reparationerna. reparation. För det andra, av de 17 Weibull form parametrar (aML) uppskattningar gjorda, sex är större än 1 (Vice2.xyO-2, Vicd.cpu, Vice7.cpu, Vice9.mem-2, Vice12.xy2-1, och Vicel4.cpu), tre är nära 1 (Vice2.men, Vice3.con, och Vice8.cpu), och åtta är mindre än 1 [4]. Att helt enkelt leta efter en större än 1 är därför inte tillräckligt för att identifiera tendensen till ett intermittent fel. För det tredje visar den statistiska analysen att de flesta reparationsåtgärderna utfördes innan systemstatistiktrender utvecklades, vilket tyder på att användarna inte tolererar det stora antal fel som krävs för en statistisk metod för att förutsäga en feltrend. Därför sökte man en ny metod som beskrivs i avsnitt 4 för trendanalys och sviktförutsägelse. Övergående fel extraherades från systemet händelselogg genom att subtrahera kända svåra fel orsakade intermittent fel som beskrivs i föregående avsnitt. I likhet med de intermittenta felen var de övergående felen en kombination från flera rena felkällor. Data visade tre typer av de vanligaste övergående felen: systemprogramfel (event typ SOFT), paritetsfel (event typ MEM) och oplanerade systemboots (t.ex. watchdog återställningar). Varje typ av övergående fel kunde ha varit sammansatt av flera rena felkällor, men det fanns inte tillräcklig information i samband med feltyperna för att ytterligare dela upp dem i unika felkällor. Därför modellerades endast den totala populationen av övergående fel. Modellering av övergående fel börjar med analysen av deras interarrival tid [7]. Interarrivaltiderna beräknas med hjälp av tidsstämpelinformationen från systemets händelselogg. Farofunktionen formuleras och analyseras för att identifiera dess tillhörande tillförlitlighetsfunktion. Totalt 446 övergående fel4 ritas i figur 2. X-axeln delar interarrival gånger i 20-timmars bins, medan y-axeln visar antalet händelser i varje bin. Den uppenbara skev mot den låga änden för alla data indikerar att Weibull distribution är en sannolik kandidat för tillförlitligheten funktion. Tabell 3 visar form- och skalparametrarna för de transienta felen för de tretton filservrarna. Dess format är identiskt med tabell 2 förutom att FRU-kolumnen ersätts med den "totala" tiden i timmar som varje filserver var under observation. För att utföra chi-square testet krävs minst fyra kategorier för en Weibull och tre för en exponentiell passform. Rader markerade med en asterisk representerar de filservrar vars antal kategorier var otillräckliga för att utföra chi-square godhet-of-fit tester, vilket innebär att deras uppskattningar av parametrarna är ofullständiga. Ändå har bara en av de fyra asteriskmärkta raderna en större än en. De (YML-värden för alla de andra servrarna är mindre än en. De understrukna chi-kvadratvärdena misslyckades med chi-kvadrattestet. Vid monteringen av data till Weibull-funktionen är VICE2 den enda servern som misslyckades 4Det totala antalet systemkrascher på grund av transient var 269, som stod för 90% av det totala antalet systemkrascher. Tabell 3 visar att minst 25 felpunkter som sträcker sig upp till 18 månader krävs för att få en användbar uppskattning av parametrarna för funktionen. Dessutom testades antagandet om nästan konstant belastning på filservrarna genom provtagning var 53:e timme (dvs. systemets medeltid att krascha). Systemanvändningen befanns vara enhetlig och kontrollerade därmed antagandet att systembelastningen kunde räknas ut som en variabel i denna studie. Som vi har sett är felloggen en blandning av både övergående och intermittenta fel. Ankomstprocessen av övergående fel visades ha en minskande felfrekvens medan intermittenta fel tenderar att ha en konstant eller ökande felfrekvens. En liknande observation hittades i en studie av [McConnel 791 där a i Weibull fördelningen för paritetsfel (dvs, transienta) var 0,5 medan a för alla krascher (blandning av övergående och intermittenta fel) var närmare 1.O med ett värde på 0,8. För att studera effekten av att blanda två felkällor mer i detalj genomfördes en simuleringsstudie och jämfördes med experimentella data. Samma statistiska modelleringsprocess utfördes på hela felloggdata med intermittenta och transienta intermittenta data. Tabell 4 visar parametrarna för hela felloggen för varje filserver under antagande av en Weibull-distribution med a och A. Raden som markeras med en asterisk anger att uppgifterna från VICE 13 är otillräckliga för att utföra chi-square godhet-offit-testet, vilket innebär att dess uppskattningar av parametrarna är ofullständiga. De understrukna chi-kvadratvärdena betecknar de som misslyckades med chisquare godhet-of-fit testet antar en 0,05 nivå av signifikans. VICE6 klarade chi-kvadrattestet med 0,25 konfidensnivå, VICE9 med 0,1 och VICE12 med 0,95, vilket är en orealistisk signifikansnivå. Det kan ses att (;YML värden för alla servrar är mindre än en. Effekten av intermittenta fel på hela felloggen kan observeras i parameterändringarna mellan tabellerna 3 och 4 och sammanfattas i tabell 5. I tabell 5 kan man se att a, < 1 för övergående fel, ai för intermittenta fel direkt påverkar a, av hela felloggen. De understrukna värdena betecknar resultat som inte är entydiga. Mängden skift Aa (dvs. I a,-ar I) är en funktion av förhållandet mellan formparametrarna a,/ai och det relativa antalet förekomster av fel N,INi, där N betecknar antalet felhändelser. Därför, om övergående fel inte kan isoleras från systemfelloggen, kommer den resulterande statistiska analysen av hela felloggen för att identifiera förekomsten av ett intermittent fel att kräva fler datapunkter än enbart för intermittenta data. Dessutom är det mindre sannolikt att analysen är avgörande. Effekten av ai på a, sammanfattas i tabell 6. I allmänhet, om ai är mindre än 1, a, < a, om ai är nära 1 (+O.l), a, > a, och om ai är större än 1, a, > a, Dessa synpunkter gäller dock inte i samtliga fall (t.ex. VICE7 och 8 i tabell 5). Eftersom mängden naturligt förekommande data är otillräcklig för att undersöka effekterna av de relativa bidragen på grund av flera rena felkällor (särskilt var och en a, / a
Dispersionsramen teknik för felprediktion, baserat på en ökning av observerad felfrekvens, ett tröskelvärde felnummer, en CPU-användning tröskel eller en kombination av ovanstående faktorer, beskrevs i REF.
Error Log Analysis: Statistical Modeling and Heuristic Trend Analysis
{'venue': 'IEEE Transactions on Reliability', 'journal': None, 'mag_field_of_study': ['Computer Science']}