En del av genomförandet av Data Warehouse (DW). De kommersiella verktyg som används för detta ändamål fångar massor av körning spår i form av olika loggfiler med massor av information. Det har dock knappast funnits något initiativ där några proaktiva analyser har gjorts på ETL-loggarna för att förbättra deras effektivitet. I detta papper använder vi outlier detektion teknik för att hitta processer som varierar mest från gruppen i termer av utförande spår. Eftersom vårt experiment utfördes på faktiska produktionsprocesser, skulle vilken avvikelse vi än skulle betrakta som en signal snarare än ett ljud. För att identifiera indataparametrarna för extraordinär detektionsalgoritm använder vi en enkät bland utvecklare med varierad blandning av erfarenhet och expertis. Vi använder enkel texttolkning för att extrahera dessa funktioner från loggarna, som shortlistade från undersökningen. Därefter tillämpade vi utlier detektionsteknik (Clustering baserad) på loggarna. Genom denna process minskade vi vår domän av detaljerad analys från 500 loggar till 44 loggar ( 8 procent). Bland de 5 outlier kluster, 2 av dem är äkta oro, medan de andra 3 räkna ut på grund av det stora antalet rader inblandade.
Vi har gjort liknande avvikande upptäckt på ETL Execution spår i REF.
Outlier detection from ETL Execution trace
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}