Abstrakt. Generativa kontradiktoriska nätverk är en klass av generativa algoritmer som har använts i stor utsträckning för att producera toppmoderna prover. I detta dokument undersöker vi GAN för att utföra anomalidetektering på tidsseriedatauppsättningen. För att uppnå detta mål görs en bibliografi med fokus på de teoretiska egenskaperna hos GAN och GAN som används för anomalidetektering. En Wasserstein GAN har valts för att lära sig representationen av normal datadistribution och en staplad kodare med generatorn utför anomali upptäckt. W-GAN med kodare verkar producera toppmoderna anomali detektering poäng på MNIST dataset och vi undersöker dess användning på multi-variata tidsserier. Nyckelord: Wasserstein GAN Anomaly Detection Time Series Airbus plattformar är mer och mer anslutna. Nyare flygplan är redan utrustade med datakoncentratorer och konnektivitet för att överföra sensordata som samlats in under hela flygningen till marken, vanligtvis vid grinden. Äldre flygplan är för närvarande eftermonterade för att installera lådor som kan göra samma jobb. För militära och tunga helikoptrar möjliggör HUMS (Health and Use Monitoring System) också insamling av sensordata. Slutligen sänder satelliter regelbundet till de markdata som samlas in från sensorer, så kallade telemetrier. För det mesta beter sig plattformarna normalt och brister och misslyckanden är sällsynta. För att gå bortom korrigerande och förebyggande underhåll, och förutse framtida fel och misslyckanden, måste vi leta efter någon drift, någon förändring i systemens beteende, i data som är normalt nästan hela tiden. Dessutom är sensordata vi samlar in tidsseriedata. Problemet vi har är sedan anomali upptäckt i tidsseriedata. Generativa Adversarial Networks är en populär teknik för att generera data från en ursprunglig datauppsättning, som kan vara av hög dimension. I vårt fall, generera nya data kan vara användbart för att generera onormala data när de upptäcks, men vi är mer intresserade av potentialen av sådana tekniker för att göra anomali upptäckt för högdimensionella data, som tidsserie data som vi har att göra med. Vår studie kommer att illustreras av tre användningsfall av ökande komplexitet, för att väl förstå vad vi gör med GAN. Ett användningsfall är en enkel tvådimensionell distribution, det andra är den klassiska bilddatabasen MNIST och det tredje är ett tidsserieproblem som kommer från UCI-databasen. De kommer att beskrivas närmare i nästa avsnitt. Den tredje delen kommer att ägnas åt beskrivningen av GAN, klassisk och Wasserstein-GAN. Sektionen kommer att blanda teoretisk formalisering och illustrationer med användningsfallen. Den fjärde delen kommer att ägnas åt användningen av GAN för anomali upptäckt i litteraturen. Det kommer att hjälpa till att visa var vårt bidrag, som beskrivs i det sista avsnittet, står. Vi kommer att avsluta och presentera en möjlig väg framåt. Målet med denna artikel är att studera genomförbarheten av att utföra anomali upptäckt med generativa kontradiktoriska nätverk. Vi valde tre olika användningsfall för att bättre förstå hur GAN fungerar och deras begränsningar inom detta område. Den första är en enkel 2-dimensionell multimodal dataset, den andra behandlar högdimensionella data som MNIST bilder, den sista är en multivariat sensor dataset. Först valde vi att studera hur GAN presterar på en enkel datauppsättning. Vi försöker lära oss en enkel 2-dimensionell distribution charaterized av en blandning av 7 gaussians med centra placerade på enheten cirkeln. Detta användningsfall har använts i flera GAN-dokument som undersöker hur väl GAN presterar på multimodala datamängder [7] [10]. Datasetet kan ses i figur 1 I detta sammanhang anses en anomali vara varje punkt utanför nivåuppsättningen av de gaussianska centren. Vi studerar också de välkända MNIST siffror dataset som visas i Figur 2. Målet är att bygga en GAN som genererar bra visuella representationer av siffror från 0 till 9. Datasetet har 60 000 siffror för utbildning och 10 000 för testning. Varje siffra är en bild på 28x28 pixlar och representerar det första steget mot studien av data med hög dimension. Vi utför anomali upptäckt med tanke på en klass av siffror som abnomal och träna GAN på de andra siffrorna i träningsdatasetet. Test utförs på testdatasetet plus alla anomala prover. Detta förfarande har använts under [15] och [1] och för att undersöka GAN:s prestanda när det gäller att upptäcka anomalier. För att jämföra resultat beräknar vi Area Under Precision Recall Curve (AUPRC) för varje siffra. Bilda. 2: MNIST Digits Denna datauppsättning består av mutivariate tidsserie av smartphone sensor data. De registrerade rörelsedata var x, y och z accelerometerdata (linjär acceleration) och gyroskopiska data (angulär hastighet) från smarttelefonen. Observationer spelades in vid 50 Hz (dvs. 50 datapunkter per sekund). Det finns tre huvudsakliga signaltyper i rådata: total acceleration, kroppsacceleration och kroppsgyroskop. Var och en har tre axlar av data. Detta innebär att det finns totalt nio variabler för varje steg. Uppgifterna förvärvas i 6 märkta olika situationer, den person som bär smartphone är oavsett om gå, stå, gå upp, gå ner eller lägga. När det gäller MNIST-datasetet tränar vi GAN och utför anomalidetektering med tanke på att en klass är onormal och de andra är normala. Figur 3 visar ett exempel på tidsserier förvärv av 9 sensorer för en gående individ på 128 tidssteg: Generativa Adversarial nätverk har föreslagits av [6] som ett nytt ramverk för att uppskatta generativa modeller via en kontradiktorisk process. Två modeller tränas samtidigt: en generativ modell G som fångar datadistributionen och en diskriminerande modell D som uppskattar sannolikheten för att ett prov kommer från träningsdata snarare än från G. Figur 4 beskriver träningsproceduren. Den generativa modellen kan betraktas som jämförbar med ett team av förfalskare, försöker producera falsk valuta och använda den utan att upptäckas, medan den diskriminerande modellen är jämförbar med polisen, försöker upptäcka den förfalskade valutan. Konkurrens i det här spelet driver båda lagen att förbättra sina metoder tills förfalskningarna är oskiljaktiga från de äkta artiklarna. Även om detta ramverk kan tillämpas på många typer av modeller, är metoden oftast utförs med två neurala nätverk för G och D. För att lära generatorer distribution P g över data x, en tidigare definieras på ingående bullervariabler p z (z), och dess kartläggning till datautrymme som G(z;  på g ). Diskriminatorn D(x;  på d ) definieras för att ge en enda skalar. D(x) representerar sannolikheten att x kommer från data snarare än generatorn. G och D spelar följande minimaxspel med värdefunktion V (G, D): Anomaly detektion med Wasserstein GAN 5 Vi tränar D för att maximera sannolikheten för att tilldela rätt etikett till både träningsexempel och prover från G. Vi tränar samtidigt G för att minimera log[1 − D(G(z)).Algoritmen som föreslås av [14] presenteras i Algo.1. Algoritm 1 Minibatch stokastisk lutning nedstigning utbildning av generativa kontrariska nät. Antalet steg som ska tillämpas på diskriminatorn, k, är en hyperparameter. k = 1 i de flesta GAN-experiment. för antal utbildning iterationer gör för k steg do Prov {x  på p(z) ett parti tidigare prover. Uppdatera discriminatorn genom att stiga dess stokastiska lutning:  på p(z) ett parti av tidigare prover Uppdatera generatorn genom att stiga dess stokastiska lutning: De gradient-baserade uppdateringar kan använda någon standard gradient-baserad inlärningsregel Under de senaste fyra åren, GAN har framgångsrikt använts för att producera toppmoderna prover i bildgenerering. I nästa underavsnitt undersöker vi närmare deras matematiska egenskaper. GAN egenskaper, och är fortfarande föremål för grundläggande forskning. I detta avsnitt beskriver vi några optimala egenskaper hos GAN-konvergens. • Låt oss betrakta datautrymme X som en d-dimensionell borrelian delmängd av R d, domineras av en mesure μ, och (X 1,.., X n ) P r på X. Varje prov X i är en slumpmässig variabel som tar värden på ett stort utrymme (d >> 1). • Generatorerna anses vara en del av en parametrisk familj av funktioner G = {G.} Det latenta utrymmet R d är vanligtvis ett mycket lägre dimensionsutrymme än X (d < < d). Genom att ha Z  till N (0, 1) d, Vi kan definiera G  på (Z) P  på, där P är en potentiell kandidat att representera P r. • Discriminators är också en del av en parametrisk familj av funktioner D = {D } α på, där till denna punkt, vi antar att generatorn och discriminator faktiskt kan simuleras av någon parametrisk modell (inte nödvändigtvis neurala nätverk). Dessutom utgår vi inte från att målfördelningen P r motsvarar en specifik parameterisering, eftersom vi bara har prover från P r. Målet med detta avsnitt är att studera länkar och avvikelser mellan dessa två fördelningar vid optimalitet. Standarden objektiv funktion i GAN utbildning är: Vi vill beskriva följande fel: 1. Felet i den optimala fördelningen P  på grund av parameteriseringen av generatorn i 2. Felet i den optimala fördelningen P  på grund av parameteriseringen av diskriminatorn i α 3. Den generalisering fel av modellen på grund av stickprovet storlek n För att jämföra sannolikhetsfördelningar, använder vi Jensen-Shannon divergens som i [3]. Figur 5 hjälper till att hålla reda på dessa fel. För att kvantifiera det första felet skriver vi om målet relativt till P r endast: Om L begränsas, då: Den optimala diskriminatorn är : Där D JS betecknar för Jensen-Shannon divergens Theorem 2. Optimal parameteriserad generator: Om  ska m,M sådan att: m ≤ P r ≤ M och  på ett sätt som gör det möjligt att uppnå en optimal parametrisk generator oberoende av discriminatorparameteriseringen och provstorleken n. Figur 5 illustrerar i grönt skillnaden Jensen-Shannon mellan den verkliga fördelningen P r och denna optimala generator distribution P. *. För att kunna utföra optimering i praktiken krävs också en parameterisering av diskriminatorn och resulterar i ytterligare ett approximationsfel på. I praktiken är uppsättningen av alla möjliga diskriminatorer endast en delmängd av Theorem 3. Fel vid diskriminatorparameterisering: Detta andra teorem visar att under vissa villkor, parameteriseringen av diskriminator resulterar i ett fel på generatordistributionen P. Figur 5 visar i svart den resulterande Jensen-Shannon divergensen mellan den verkliga distributionen P r och den optimala generatordistributionen efter parameterisering av discriminatorn P  på provstorlek och distributionskonvergens Vi är intresserade av att utvärdera felet mellan den verkliga fördelningen av datauppsättningen P r och generatordistributionen P  på, med vetskap om parameteriseringen av generatorn i  och parameteriseringen av discriminatorn i α och provstorleken n i datasetetet. För att göra det, vi går tillbaka till den ursprungliga GAN formulering vi vill minimera w.r.t och maximera w.r.t. α: Låt oss överväga följande teorem från [3]: Antag (H ): Ovanstående teorem talar om för oss att under vissa rimliga villkor, felet på generatorn konvergenser mot den sanna fördelningen P r är proportionell mot, Som illustreras i blått i Figur 5. Faktiskt, om generatorn är C 2 w.r.t med avgränsade derivat, är discriminatorn avgränsad och C 2 w.r.t α och x med avgränsade derivat, P är C 2 w.r.t  på samma sätt med avgränsade derivat, så ju större provstorlek desto lägre generaliseringsfel och vi kan visa att på →  och α → α [3]. Anomaly detektion with Wasserstein GAN 9 Sammanfattning I ett nötskal verkar Jensen-Shannon divergens vara ett bra mått för att jämföra distributioner under GAN-träning. Parameteriseringen av diskriminatordelen av GAN resulterar också i ett okomprimerbart fel som endast kan mildras genom valet av diskriminator. Slutligen, ju större urvalsstorlek desto bättre konvergens mot datadistributionen. Alla dessa fel beskrivs i figur 5 där utrymmet motsvarar alla funktioner som definieras i X −→ [0, 1]. Dessutom är de resultat som visas i [3] oberoende av den valda parameteriseringen. De flesta GAN utbildningsprocedurer använder Neural Networks som parameteriserade funktioner som innebär finjustering av hyperparametrar för att uppnå önskad konvergens. För att tillämpa Generative Adversarial Networks använder vi två helt anslutna neurala nätverk som generator och discriminator för att lära sig fördelningen av den första användningsfall. Båda nätverken har två dolda lager på 128 nervceller vardera. Den latenta utrymmet har en dimension av två och bruset provtas från en gaussian fördelning med 0 medelvärde och 1 varians. Vi provar 100 000 2-dimensionella punkter från blandningen av gaussianer och utgör vår datauppsättning. Vi utför standard inlärningsprocedur på denna datauppsättning och få en förlustkurva
En extra kodare behövs också i den Wasserstein GAN-baserade ram som föreslås i REF, som bara kräver ytterligare ett utbildningsstadium.
Anomaly detection with Wasserstein GAN
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}