I detta dokument presenteras en omfattande metod för utvärdering av system för att upptäcka intrång (IDS). Den integrerar och utökar ROC (mottagarens verksamhetsegenskaper) och kostnadsanalysmetoder för att ge en förväntad kostnadsmått. Resultat ges för att bestämma optimal drift av en IDS baserat på denna förväntade kostnad metriska. Resultaten ges för driften av en enda IDS och för en kombination av två IDS. Metoden illustreras för: 1) fastställa den bästa driftpunkten för en enda och dubbel IDS baserat på kostnaderna för misstag och fientligheten i verksamhetsmiljön som representeras i den tidigare sannolikheten för intrång och 2) utvärdera enstaka och dubbla IDS på grundval av förväntade kostnader. En metod beskrivs också för att representera en förening IDS som en likvärdig enda IDS. Resultaten presenteras ur en systemadministratörs synvinkel, men de gäller lika för IDS-designers. Nyckelord: Bayesiansk statistik; datasäkerhet; beslutsanalys; intrångsdetektering; mottagare som fungerar som egenskap (ROC); utvärdering av programvara. Tillgänglig på nätet: http://www.nist.gov/jres ligger ovanför och till vänster om en dominerad kurva. Inget mått presenterades för graden av dominans, inte heller gjordes något uttalande om värdet av en IDS över en annan eller värdet av en IDS över ingen IDS. Andra har dock föreslagit mått för utvärdering av IDS-kurvornas ROC-kurvor. Durst m.fl. [1] hävdar att "området under kurvan är ett mått på ett intrångsdetekteringssystems effektivitet." Axelsson [6] föreslår en "krävd nivå av falsklarm" Durst et al. [1] tyder på en falsk larmfrekvens som är "hanterbar". Saydjari [7] föreslår ett mål om detektionsannolikhet och sannolikhet för falsklarm. Förmodligen kan mätvärden utvecklas (t.ex. Euclidean avstånd) som beskriver hur "nära" en given ROC-kurva är till önskad nivå eller mål. Inget av dessa mått är dock tillfredsställande i och med att ingen ger ett fullständigt mått på förmågan hos en IDS. Stolfo m.fl. [4] föreslå en alternativ metod för utvärdering av IDS som bygger på kostnadsmått. De hävdar att "visar att de traditionella statistiska mått som används för att utbilda och utvärdera inlärningssystemens prestanda (dvs. statistisk noggrannhet eller ROC-analys) är vilseledande och kanske olämpliga för denna tillämpning." De hävdar att deras kostnadsbaserade mått är lämpligare, och de visar vidare hur de [kostnadsbaserade] tekniker som utvecklats för att upptäcka bedrägerier kan generaliseras och tillämpas på det viktiga området för att upptäcka intrång. De tillämpar sina kostnadsbaserade metoder genom att beräkna de totala kostnaderna för olika IDS genom att lägga till kostnaderna från ett antal simuleringsförsök. De visar inte hur deras metod använder all information i en ROC-kurva, och inte heller ger de en övertygande demonstration av kostnadsmåttets överlägsenhet. Vi visar att både ROC-analysen och andra kostnadsanalysmetoder som vi har granskat är ofullständiga. Dessutom visar vi hur ett beslutsträd kan kombinera och utöka ROC- och kostnadsanalysmetoder för att ge en förväntad kostnadsmått som återspeglar intrångsdetekteringssystemets ROC-kurva, kostnadsmått och en bedömning av miljöfientligheten som sammanfattas i den tidigare sannolikheten för intrång. Vi visar vidare hur denna metod kan användas för att: bestämma den optimala driftpunkten på en IDS ROC-kurva, välja det bästa intrångsdetekteringssystemet, bestämma värdet av ett intrångsdetekteringssystem över ett annat, bestämma värdet av en IDS över ingen IDS, och bestämma hur man justerar driften av en IDS för att reagera på förändringar i sin miljö. McHughs [2] mycket ingående kritik av 1998 års DARPA-utvärdering väcker ett antal allvarliga frågor om hur ROC-kurvorna i den byggdes. Han ger också anledning till oro över lämpligheten av ROC-analyser för dessa utvärderingar över huvud taget, särskilt om måttenheten är annorlunda för olika IDS. Vi tar inte upp hur ROC-kurvorna erhålls; vi visar hur de ska jämföras när de väl har erhållits. Detta papper är arrangerat på följande sätt. Avsnitt 2 beskriver vår metod för att utvärdera en enda IDS. Den beskriver ROC-kurvor, presenterar en beslut trädanalys för att bestämma en IDS optimala driftpunkt, och visar hur den förväntade kostnaden för att driva en IDS i en fientlig miljö kan användas för att utvärdera en IDS. I avsnitt 2 beskrivs också en metod för att bestämma det förväntade värdet av ett IDS över ett annat. Vi visar att detta förväntade värde beror på kostnaderna för misstag, sannolikheten för intrång, och IDS ROC kurvor, inte bara några av dessa faktorer. Vi visar att arean under en ROC-kurva inte är ett giltigt mått på en IDS effektivitet, i motsats till påståendena från Durst et al. [1].................................................................. Avsnitt 3 utökar metoden för att utvärdera en sammansatt IDS som består av två oberoende IDS. Resultaten presenteras som beskriver optimal drift av kombinationen av två IDS och jämför den förväntade kostnaden från en enda IDS med den från en sammansatt IDS. Resultaten visas för en sammansatt IDS som består av två oberoende identiska IDS, två oberoende olika IDS, och två oberoende IDS, en med en noll sannolikhet för falska alarm. I avsnitt 4 beskrivs hur en sammansatt IDS kan representeras av en enda, sammansatt ROC-kurva som härleds från ROC-kurvorna för dess komponenter. I avsnitt 5 presenteras slutsatser, rekommendationer och förslag till utvidgning av metoden. Fyra bilagor innehåller tekniska detaljer. Tillägg A (Sek. 6) visar analysen för en sammansatt IDS med ett enda beslut. Tillägg B (sekretess. 7) visar analysen för en sammansatt IDS med sekventiella beslut. Dessa bilagor visar att den förväntade kostnaden för att använda en sammansatt IDS bestående av två oberoende IDS är densamma oavsett om svarsbeslutet fattas sekventiellt efter varje komponent IDS rapport eller om svarsbeslutet endast fattas en gång på grundval av båda rapporterna. Tillägg C (Sek. 8) visar förenklade analyser och ROC:s geometri. Den beskriver de villkor under vilka det inbäddade beslutet kan tas bort från beslutsträdet, beskriver en analys av det konvexa skrovet och beskriver en förlängning av analysen som inkluderar ytterligare kostnader. Tillägg D (Sek. 9) visar härledning av en enda, sammansatt ROC-kurva för att representera prestandan hos flera IDS.  Ett system för upptäckt av datorintrång (IDS) handlar om att inse om ett intrång görs i ett datorsystem. En IDS ger någon form av larm för att indikera dess påstående att ett intrång är närvarande. Larmet kan vara korrekt eller felaktigt. En beslutsfattare (t.ex. systemadministratören) kan besluta att svara på larmet eller att ignorera larmet. Detta avsnitt beskriver en beslutsanalysmetod för att bestämma den bästa driftpunkten för en IDS och en förväntad kostnadsmått som kan användas för att utvärdera en IDS. En IDS-mottagare (ROC)-kurva beskriver förhållandet mellan de två driftsparametrarna för IDS, dess sannolikhet för detektion, 1-β, och dess falska alarmsannolikhet, α. Det vill säga, ROC-kurvan visar 1-β som tillhandahålls av IDS vid en given α. Den visar också den α som tillhandahålls av IDS vid en given 1-β. ROC-kurvan sammanfattar således IDS-kurvans prestanda. Vi tar inte upp hur man genererar denna ROC-kurva, bara vad man ska göra med den efter att den har bestämts. Figur 1 visar två möjliga ROC-kurvor som används i detta papper. Dessa liknar två ROC-kurvor som bestämdes av Graf et al. [8] från faktiska uppgifter i 1998 års DARPA-utvärdering av intrångsdetektering. IDS E:s ROC-kurva liknar ROC-kurvan för EMERALD (Event Monitoring Enabling Responses to Anomalous Live Disturbances [9]) och IDS C:s ROC-kurva liknar ROC-kurvan för Columbia IDS [10]. IDS "C" visas med fem diskreta driftpunkter, och IDS "E" visas med fyra. De linjer som visas som förbinder punkterna läggs till som ett visuellt hjälpmedel för läsaren men är irrelevanta för att beskriva IDS:s prestanda. Gaffney och Ulvila [11] visar att man aldrig skulle välja att driva en IDS vid en inre punkt på linjesegmentet som förbinder två driftpunkter. Följande nomenklatur används i hela detta papper. Systemet kan vara i ett av två tillstånd: antingen med ett intrång närvarande (I) eller utan intrång närvarande (NI). Den tidigare sannolikheten för intrång kallas p. IDS rapporterar antingen ett intrångslarm (A) eller inget alarm (NA). Parametrarna för IDS ROC-kurvan är: sannolikheten för ett larm med tanke på intrång, sannolikheten för att ett larm ska upptäckas, P(A-I) = 1 -β (eller sannolikheten för inget larm med tanke på intrång, P(NA-I) = β) och sannolikheten för ett larm utan intrång, sannolikheten för falskt larm, P(A-NI) = α. α och β är således sannolikheterna för de två typerna av rapporteringsfel. Antingen kommer rapporten från IDS att utlösa en av två åtgärder: antingen svara som om det förekom ett intrång (R) eller inte svara (NR). Konsekvenserna av kombinationer av möjliga åtgärder och tillstånd i systemet anges av kostnaderna för fel. Kostnaden för att svara som om det fanns ett intrång när det inte finns någon betecknas C α. Kostnaden för att inte svara på ett intrång är betecknad C β. Utan förlust av allmängiltighet kan vi skala om kostnaderna genom att definiera ett kostnadsförhållande, C = C β /C α. Analyserna i detta dokument utgår från att kostnaderna för korrekta svar är noll. I avsnitt 8.3 beskrivs hur dessa analyser kan utvidgas till den allmänna situationen med kostnader för alla kombinationer av åtgärder och tillstånd i systemet. I praktiken beräknas dessa kostnader genom att man beaktar konsekvenserna av felen, och kostnaderna kommer att vara olika för olika datorsystem och för olika driftsförhållanden. Till exempel omfattar C α den uppenbara kostnaden för den person som svarar på larmet och den ouppenbara kostnaden för användarna på grund av datorsystemets försämrade prestanda medan larmet undersöks. Dessa kostnader beror på svarets art. Vanliga svar inkluderar filtrering, isolering, ändrad loggning eller andra förfaranden, eller frånkoppling [1], och vissa av svaren skulle kunna automatiseras. C β är kostnaden för den skada som inkräktaren gjort medan han förblir oupptäckt. Det inkluderar kostnaden för att återställa datorsystemet till dess oskadade tillstånd. För kritiska system kan det inkludera kostnader för fel som begås av systemet under inflytande av inkräktaren (t.ex. avfyra en missil eller stänga av ett kraftnät). I den analys som presenteras här används punktuppskattningar för kostnader. En exten sion skulle kunna använda sannolikhetsfördelningar över kostnaderna, men resultaten, som baseras på förväntade kostnader, skulle vara likartade. I allmänhet är företag ovilliga att dela information om sina kostnader, men ett förfarande som följande kan användas av en organisation för att uppskatta dessa kostnader. Kostnaderna för olika åtgärder, till exempel att reagera på ett larm, kan uppskattas genom att man noga överväger vilka åtgärder som skulle vidtas för att reagera på ett larm. Kostnaden för att ignorera ett larm när det faktiskt finns ett intrång i systemet kan delvis beräknas genom en analys av tillgängliga data från undersökningar som 2002 CSI/FBI Computer Crime and Security Survey [12], och delvis genom en noggrann analys av kostnaden eller inverkan på systemet och organisationen som skyddas av IDS. Industridata, t.ex. de som finns tillgängliga från en undersökning, kan tyda på ett värde eller ett värdeintervall. Sådana "industridata" kan dock inte vara en helt tillfredsställande ersättning för en noggrann analys av ens egen organisation eller verksamhet. Denna situation är jämförbar med uppskattningen av kostnaderna för utveckling av programvara. Man kan använda "konserverade" data, såsom tillgängliga från ett kommersiellt verktyg eller vad man får från diskussioner med andra organisationers personal eller från publicerade papper eller böcker. Det är dock alltid bättre att använda data från sin egen organisatoriska erfarenhet som grund för en uppskattning. Den förväntade kostnaden för varje driftpunkt i IDS bestäms genom att analysera det beslutsträd som visas i bild. 2............................................................... Detta beslut träd visar sekvensen av åtgärder (kvartor) och osäkra händelser (cirklar) som beskriver driften av IDS och de åtgärder eller svar som kan vidtas, baserat på rapporter. Den visar också konsekvenserna av kombinationer av handlingar och händelser. De kostnader som visas motsvarar konsekvenserna. Sammankomsten i ett beslutsträd är att läsa den från vänster till höger. Den stig som leder till någon punkt i trädet visas till vänster om punkten och antas vara bestämd. Sökvägar till höger om någon punkt visar alla efterföljande möjligheter, som ännu inte är fastställda. Detta beslut träd visar att det optimala beslutet kan vara att vidta åtgärder motsatsen till den som rekommenderas av IDS. Det vill säga, det kan vara optimalt att ignorera ett larm eller att svara på ett fall utan larm. I avsnitt 8.1 beskrivs de villkor under vilka det optimala beslutet ska följa IDS:s rekommendation. Beslut eller åtgärd noder, som visas som rutor, är under kontroll av beslutsfattaren. Beslutsfattaren väljer vilken gren som ska följas. Händelsen noder, som visas som cirklar, är inte under kontroll av beslutsfattaren men är föremål för osäkerhet. En sannolikhetsfördelning representerar osäkerheten om vilken gren som kommer att ske efter en händelsenod. Associerad med varje osäker händelse är dess sannolikhet för förekomst. Det finns tre sannolikheter angivna i trädet: p 1 = sannolikheten att IDS rapporterar ett larm, p 2 = den villkorliga sannolikheten för intrång med tanke på att IDS rapporterar ett larm, och p 3 = den villkorliga sannolikheten för intrång med tanke på att IDS inte rapporterar något larm. Gaffney och Ulvila [11] visar hur dessa sannolikheter kan härledas från värdena α, β och p. Den förväntade kostnaden för en driftpunkt beräknas genom att "rulla tillbaka" det beslutsträd [13] som visas i bild. 2............................................................... Om man arbetar från höger till vänster beräknas det förväntade värdet vid en händelseknutpunkt som summan av sannolikhetsprodukter och kostnader för varje filial. Den förväntade kostnaden för en åtgärdsnod är den lägsta förväntade kostnaden för dess filialer. En driftspunkt för en IDS definieras som värdena för parametrarna α och β. Gaffney och Ulvila [11] visar att den förväntade kostnaden för drift vid en punkt på en IDS ROC-kurva är: där C = C β /C α och p är den tidigare sannolikheten för intrång. Att välja den bästa driftpunkten är viktigt eftersom IDS ofta kan justeras för att fungera på olika punkter. Lippmann m.fl. [3] ange: "de flesta system för att upptäcka intrång ger en viss grad av konfiguration för att experter ska kunna anpassa systemet till en viss miljö." Axelsson [6] konstaterar: "Prestandapunkten i IDS kan ställas in för att uppfylla kraven i verksamhetsmiljön." Kent [14] säger: "Många system har motsvarigheten till en inställningsratt som gör det möjligt för en systemadministratör att justera känsligheten hos [insprutningsdetekteringssystemet]." Beslutet att välja en driftspunkt är att välja den punkt med den minst förväntade kostnaden. Det vill säga, värdena för α och β väljs för att minimera förväntade kostnader. Problemet är att välja α och β på ROC-kurvan för att minimera (för givna värden på C och p): Figur 3 visar, för IDS "C", förhållandet mellan den optimala driftpunkten och den miljö där IDS ska fungera och den förväntade kostnaden för drift vid den punkten. Den visar också optimal respons på ett larm. Figur 3 fastställdes för en kostnadskvot på 500. Det vill säga, om det är 500 gånger så dyrt att inte reagera på ett intrång som det är att reagera på ett falskt alarm. Etiketter under den horisontella axeln i bild. 3 indikerar att om sannolikheten för att ett givet försök att använda systemet är ett intrång är mindre än 6,7 × 10 -8, då är det bäst att aldrig svara på ett larm. Men om sannolikheten för ett intrång är större än 7,1 × 10 -3, då är det bäst att behandla varje försök att använda systemet som om det vore ett intrång. Däremellan är det bäst att svara på ett larm från IDS. De fasta linjerna i Bild. 3 visa de intervall över vilka den optimala driftpunkten är den som visas på den högra vertikala axeln. Om t.ex. sannolikheten för intrång är mellan 6,7 × 10 -8 och 1,0 × 10 -6, är den optimala driftpunkten α = 2 × 10 -5 och 1 -β = 0,60. Fortsättning, om den tidigare sannolikheten för intrång är mellan 1,0 × 10 -6 och 2,0 × 10 -6, då den optimala driftpunkten är vid α = 5 × 10 -5 och 1 -β = 0,66, och så vidare. Kurvan i bild. 3 visar den förväntade kostnaden (längs vänster vertikal axel) i enheter av kostnaden för ett falskt larm, för varje försök att använda systemet när IDS fungerar på den optimala punkten och det optimala svarsbeslutet fattas. Kostnaden stiger från 5,0 × 10 -6 när den tidigare sannolikheten för intrång är 1,0 × 10 -8 till 1,4 × 10 -2 när den tidigare sannolikheten för intrång är 1,0 × 10 -4 till 0,99 när den tidigare sannolikheten för intrång är 1,0 × 10 -2 (skalorna är logaritmiska i bild. Denna förordning träder i kraft den tjugonde dagen efter det att den har offentliggjorts i Europeiska unionens officiella tidning. Miljön vid 1998 DARPA Off-line Intrusion Detection Evaluation var tänkt att simulera realistisk normal trafik på ett datornät vid en flygbas [1]. I denna miljö gjordes 43 intrångsförsök av 660 000 nätverkssessioner under en dag. Detta innebär en grundgrad av intrång på 43/660 000 = 6,52 × 10 -5 per session. Om IDS tillämpas varje session och intrång svar är på en per-session basis, då, om vi uppskattar den tidigare sannolikheten för intrång som basnivån, p = 6,52 × 10 -5. Figur 3 visar att vid denna tidigare sannolikhet för intrång är det bästa beslutet att svara på ett larm från IDS, den förväntade kostnaden är 0,009 och den bästa inställningen för IDS är α = 15 × 10 -5 och 1 -β = 0,72. De förväntade kostnaderna för olika IDS kan jämföras genom att subtrahera de förväntade kostnaderna för IDS när var och en fungerar på sin optimala punkt. För varje givet kostnadsförhållande, C, och tidigare sannolikhet för intrång, p, den optimala driftpunkten kommer att vara olika för IDS med olika ROC-kurvor. Dessutom kommer de förväntade kostnaderna att skilja sig åt för olika ROC-kurvor. Skillnaden i förväntade kostnader ger ett förväntat värdemått för att jämföra de två IDS-värdena. I praktiken kan man ställas inför valet bland flera olika IDS som erbjuder olika föreställningar som kan karakteriseras av olika ROC-kurvor. Den analys som presenteras här ger ett sätt att bestämma vilken ROC-kurva, och därmed vilken IDS, som är bäst. Den kvantifierar också preferensen i form av en skillnad i förväntade kostnader. Valet av en önskad ROC-kurva och graden av denna preferens beror på den operativa miljön som kännetecknas av p och C. Betrakta de två ROC-kurvorna som visas i Bild. 1................................................................ Eftersom ROC-kurvan för IDS "C" ligger ovanför och till vänster om ROC-kurvan för IDS "E", och eftersom dessa kurvor inte skär varandra, är IDS "C" alltid bättre än IDS "E". Värdet av denna förbättring, som beror på en mindre förväntad kostnad, beror dock på värdena för C och p. Figur 4 sammanfattar resultatet. Om C = 500 (dvs. om kostnaden för att inte svara på ett intrång är 500 gånger kostnaden för att svara på ett falskt alarm), då IDS "C" föredras framför IDS "E" för värden på p mindre än 0,0071. Den maximala skillnaden i förväntad kostnad är 0,42 när p =.0042. Om C = 1000, då IDS "C" föredras för värden på p mindre än 0,0036, och den maximala skillnaden i förväntade kostnaden är 0,42 när p = 0,0021. Samma typ av analys kan användas för att utvärdera flera IDS som fungerar i serie eller parallellt för att utvärdera trafiken på ett system. När det gäller två IDS som fungerar på ett sådant sätt att resultaten från båda IDS är kända innan beslutet om svar fattas, är beslutsträdet som visas i bild. 5................................................................ (Tillägg B, Sek. 7. visar att resultaten är desamma oavsett om ett enda svarsbeslut fattas på grundval av både IDS:s rapporter eller om svarsbesluten fattas i följd efter mottagandet av varje IDS:s rapport.) Detta beslut träd läses på samma sätt som beslutsträdet för en enda IDS. Den första osäkerheten är rapporten från varje IDS, ett alarm eller inget alarm från IDS 1 (A1 eller NA1) och IDS 2 (A2 eller NA2). Nästa är beslutet att svara eller inte. Nästa osäkerhet är om det faktiska tillståndet är antingen ett intrång eller inget intrång. Kostnader är kostnader för fel-antingen svara på ett falskt larm (C α ) eller underlåtenhet att svara på ett intrång ( C β ). Kostnadskvoten, C = C β/C α. Parametrarna för denna analys är sannolikheten för rapporterna, p 1, p 2, p 3, och p 4 och sannolikheten för intrång beroende på rapporterna, q 1, q 2, q 3, och q 4. Avsnitt 6 visar att om de två IDS är oberoende, då den förväntade kostnaden för två-IDS beslutsträdet, i termer av parametrarna för de två ROCs (α 1, α 2, β 1, och β 2 ), den tidigare sannolikheten för intrång (p), och kostnadsförhållandet (C) är: Resultaten av analysen för två IDS kan visas på ett sätt som liknar resultaten för en enda IDS. Figur 6 visar resultaten för två IDS med identiska, oberoende ROC, när varje IDS har prestanda för IDS "C" och kostnadsförhållandet är 500. Detta skulle kunna vara fallet om två IDS använde helt olika detektionsmetoder men ändå gav identiska prestanda som framgår av identiska ROC-kurvor. Strömmen av inkommande trafik kunde undersökas separat av varje IDS, och varje IDS skulle ge ett separat larm. I figur 6 visas förhållandet mellan den optimala driftpunkt och den miljö där IDS ska fungera och den förväntade kostnaden för drift vid den punkten. Den har några intressanta egenskaper jämfört med motsvarande bild. 3 för en enda IDS. För det första är "dubbel-IDS" bättre än ingen över ett större intervall på den tidigare sannolikheten för intrång, p, från 1,0 × 10 -11 till 0,025. Om p ligger under den nedre gränsen är det bäst att aldrig svara på ett larm. Om p är högre än den övre gränsen, är det bäst att svara på varje försök att använda systemet som om det vore ett intrång. Mellan dessa gränser är det bäst att svara endast om båda IDS indikerar ett larm för värden på p upp till 2,5 × 10 -6, och att svara på ett larm från antingen IDS över detta värde av p. I fallet med två IDS kan varje IDS ställas in oberoende så att den kombinerade prestandan är optimal. Detta resulterar i två olika inställningar, en för varje IDS. I takt med att den tidigare sannolikheten för intrång ökar ökar de optimala inställningarna för sannolikheten för falsklarm för de två IDS (α 1 och α 2 ) som visas av högeraxeln i bild. 6............................................................. (Se bild.) 1 för värdet av 1–β vid varje värde av α.) Ökningar är vanligtvis förändringar i en enda IDS inställning, men ibland inställningarna för båda IDS ändras. När värdet på p ökar över 2,5 × 10 -7, de optimala falska larmhastigheter återgår till sina minima och börjar stiga igen som p fortsätter att stiga. Kurvan i bild. 6 visar att den förväntade kostnaden (den vänstra axeln) i enheter av kostnaden för ett falskt alarm, för varje försök att använda systemet när de två IDS:erna fungerar stiger när p stiger. Betrakta på nytt miljön i 1998 DARPA Off-line Detection Utvärdering för att uppskatta värdet av p = 6,52 × 10 -5. Figur 6 visar att vid denna tidigare sannolikhet för intrång är det bästa beslutet att svara på ett larm från antingen IDS, den förväntade kostnaden är mindre än 0,003, vilket är mindre än en tredjedel av den förväntade kostnaden för en enda IDS, och den bästa inställningen för varje IDS är α = 15 × 10 -5 (med 1 -β = 0,72). Resultaten från analysen med två IDS kan jämföras med resultaten för en enda IDS som visas i Bild. 7............................................................ Som lätt kan ses, två IDS är bättre än en över hela sortimentet att två är bättre än ingen. Den maximala skillnaden i värdet av två jämfört med en inträffar vid den punkt där den enda IDS är inte bättre än ingen IDS, dvs. vid p = 0,007. Detta resultat visar begränsningarna i den "konvexa skrov" metod för att utvärdera flera IDS. Provost och Fawcett [15] som hittar det konvexa skrovet i sina ROC-kurvor. De hävdar sedan att detta konvexa skrov representerar den prestanda som kan uppnås genom att använda båda IDS. Om någon del av en IDS ROC-kurva är på konvex skrov av alla ROC-kurvor, då att IDS är den bästa att använda för någon kombination av p och C, den tidigare sannolikheten för intrång och kostnadsförhållandet. Men deras metod misslyckas med att redogöra för den synergistiska effekt som flera IDS erbjuder för att ge en mer effektiv ROC-kurva än någon enskild kurva. Dessutom kommer endast genom att korsa ROC-kurvor att producera olika delar av konvexa skrov från olika IDS. Identiska IDS inte korsar, så konvexa skrovet är samma som den enda IDS. Ändå är två IDS klart bättre än en. Följande avsnitt illustrerar detta mer dramatiskt, när en dominerad IDS läggs till och de två är bättre än någon av de enskilda. En liknande analys skulle kunna göras för två olika, oberoende IDS. Detta är mer troligt, eftersom det är mer sannolikt att hitta två oberoende IDS med olika ROC kurvor än med identiska ROC kurvor. Anta, till exempel, att både IDS "C" och IDS "E" från Fig. 1 var tillgängliga för användning och att var och en gav en oberoende bedömning av om ett försök att använda systemet var ett intrång eller inte. Vi såg i Sec. 2 att IDS C: s prestanda dominerade IDS "E". En analys av dubbel-IDS med båda visar dock att båda kan användas för att ge en lägre förväntad kostnad än någon av dem. Den optimala driftpunkten och den förväntade kostnaden för dubbla IDS med både IDS "C" och IDS "E" visas i bild. 8............................................................... Med C = 500 är kombinationen av de två olika IDS bättre än ingen inom ett intervall på den tidigare sannolikheten för intrång, p, från 3,8 × 10 -11 till 0,015. Om p ligger under den nedre gränsen är det bäst att aldrig svara på ett larm. Om p är högre än den övre gränsen, är det bäst att svara på varje försök att använda systemet som om det vore ett intrång. Mellan dessa gränser beter sig IDS med två olika IDS något annorlunda än den med identiska IDS. För värden på p upp till 1,75 × 10 -7 är det bäst att svara endast om båda IDS ger ett larm; eftersom p ökar över detta värde upp till 3,7 × 10 -6 är det bäst att svara endast om IDS "C" (de bättre IDS) ger ett alarm; över detta värde på p, är det bäst att svara på ett alarm från någon av IDS. I takt med att den tidigare sannolikheten för intrång ökar ändras de optimala inställningarna för sannolikheten för falsklarm för de två IDS som visas av högeraxeln i bild. 8............................................................... Eftersom värdet på p ökar över 1,75 × 10 -7 återgår den optimala falska larmfrekvensen för bättre IDS (IDS "C") till sitt minimum. Eftersom värdet på p fortsätter att öka över 3,7 × 10 -6, de optimala falska larmfrekvenser för båda IDS sjunker och börjar stiga igen som p fortsätter att stiga. Betrakta på nytt miljön i 1998 DARPA Off-line Detection Utvärdering för att uppskatta värdet av p = 6,52 × 10 -5. Figur 8 visar att med denna tidigare sannolikhet för intrång är det bästa beslutet att svara på ett larm från antingen IDS, och den förväntade kostnaden är omkring 0,005, vilket är lite över hälften av den förväntade kostnaden med en enda IDS som IDS "C". Vid denna tidigare sannolikhet för intrång är den bästa inställningen för IDS "C" vid α = 15 × 10 -5 (med 1 -β = 0,72) och för IDS "E" vid α = 6 × 10 -4 (med 1 -β = 0,50). Resultaten från analysen med två olika IDS kan jämföras med resultaten för det enskilda bättre IDS (IDS "C") som visas i bild. 9................................................................ Som lätt kan ses, även om IDS "E" domineras av IDS "C", de två olika IDS som används tillsammans är bättre än IDS "C" över hela intervallet att de två är bättre än ingen (utom för intervallet där det optimala beslutet är att svara endast på larm från IDS "C", i vilket fall dubbel IDS har samma förväntade kostnad som IDS "C"). Den maximala skillnaden i värdet av två olika IDS över IDS "C" uppstår vid den punkt där IDS "C" inte är bättre än ingen IDS, dvs. vid p = 0,007. Figur 9 visar också att den dubbla IDS som består av två IDS som är identiska med IDS "C" (den bättre delen av duon) är bättre än den dubbla IDS som består av de två olika IDS "C" och "E". Wagner och Dean [16] beskriver en metod för att upptäcka intrång med hjälp av statisk analys. De hävdar tre fördelar: en hög grad av automatisering, skydd mot en bred klass av attacker och eliminering av falsklarm. Den viktigaste klassen av attacker för vilka deras tillvägagångssätt är tillämpligt är buffertspill, som stod för minst hälften av 1999 CERT-bulletiner [17]. De hävdar också att deras tillvägagångssätt kan upptäcka trojanska hästar i betrodd programvara, någon dynamisk länkning attack, och format string attacker. De rekommenderar att deras tillvägagångssätt "inte ska användas som enda försvar mot någon av dessa attacker, utan istället användas för att komplettera andra tekniker." Detta gör det till ett idealiskt fall att studera i samband med en av de IDS som beskrivs i detta dokument. Wagner och Dean [16] ger inte någon information om sannolikheten för upptäckt i sitt papper. I ett efterföljande e-postmeddelande till en av författarna uppgav Wagner att det inte finns någon uppskattning av sannolikheten för upptäckt. Så, i denna analys, anta att en IDS baserad på statisk analys kunde upptäcka 60 % av attackförsöken med en villkorlig sannolikhet för att upptäcka 0,50. När man överväger alla angreppsmöjligheter skulle en IDS baserad på denna metod ha en driftpunkt på α = 0.00 vid 1 -β = (0,60) (0,50) = 0,30. Betrakta driften av ett intrångsdetekteringssystem som består av en Wagner och Dean [16] "noll falsklarm" IDS kombinerat med IDS "C" från Fig. 1................................................................ Optimala driftpunkter och förväntade kostnader från optimal drift av ett sådant system visas i bild. 10................................................................ Med C = 500 är kombinationen av IDS "C" med "noll falsklarm" IDS bättre än ingen IDS över ett intervall på den tidigare sannolikheten för intrång, p, från 0.00 till 0.010. Om p är högre än den övre gränsen, är det bäst att svara på varje försök att använda systemet som om det vore ett intrång. Men eftersom en av komponenten IDS erbjuder en positiv detektion sannolikhet med en noll falsk alarmsannolikhet, är det alltid bättre att svara på ett alarm från "noll falsklarm" delen av systemet än att ignorera det. För värden på p upp till 9,5 × 10 -8, Det är bäst att svara endast om "noll falsklarm" IDS ger ett larm. För värden på p mellan 9,5 × 10 -8 och 0,010 är det bäst att svara om någon av IDS ger ett larm. För värden på p över 0,010 är det bäst att svara på varje försök att använda systemet som om det vore ett intrång. IDS-systemet "noll falsklarm" bör alltid användas vid dess ROC-punkt (0.00, 0.30). I takt med att den tidigare sannolikheten för intrång ökar, ändras de optimala inställningarna för sannolikheten för falsklarm i IDS-delen "C" av IDS-delen, vilket visas av högeraxeln i bild. 10................................................................ Betrakta på nytt miljön i 1998 DARPA Off-line Detection Utvärdering för att uppskatta värdet av p = 6,52 × 10 -5. Figur 10 visar att med denna tidigare sannolikhet för intrång är det bästa beslutet att svara på ett larm från antingen IDS, och den förväntade kostnaden är cirka 0,0065, vilket är ungefär två tredjedelar den förväntade kostnaden med en enda IDS "C". Vid denna tidigare sannolikhet för intrång är den bästa inställningen för IDS 'C'-delen av systemet α = 15 × 10 -5 (med 1 -β = 0,72). Resultaten från analyserna av alla tre dubbla IDS visas i bild. 11........................................... För mycket låga tidigare sannolikheter för intrång, under ca 2 × 10 -5 för dubbla IDS med IDS "C" och "E" och 1 × 10 -11 för dubbla identiska IDS "C" är dubbla IDS med en "noll falsk larm" (0 FA) IDS bättre än en eller båda av de andra dubbla IDS som analyseras i detta papper. Båda de andra är bättre (så länge de är bättre än ingen IDS) för sannolikheter över 2 × 10 -5. Den maximala skillnaden i förväntat värde (om C = 500) är på p = 0,01, den punkt där den dubbla IDS med en "noll falsklarm" komponent är inte bättre än ingen IDS.  Resultat från analyserna i Sec. 3 indikerar att det kan vara möjligt att representera prestandan hos två oberoende IDS i en enda, sammansatt ROC-kurva. Det vill säga eftersom den förväntade kostnaden och intervallet på optimala driftpunkter från analysen av två oberoende IDS kan representeras på samma sätt som dessa resultat för en enda IDS, kan det vara möjligt att sammanfatta prestandan för de två IDS i en ROC-kurva. Avsnitt 9 visar att det verkligen är möjligt att härleda en enda, sammansatt ROC-kurva från ROC-kurvorna för två oberoende IDS. Den sammansatta ROC-kurvan visar prestandan för kombinationen av två IDS-komponenter i två parametrar, α och β. Denna sammansatta ROC-kurva tolkas på samma sätt som varje ROC-kurva. Värdena för α och β är funktioner av parametrarna för komponenten IDS, α 1, β 1, α 2, och β 2. Den funktionella formen beror dock på den optimala beslutsregeln som används för att svara på larm från komponenten IDS. I de fall där den optimala beslutsregeln är att reagera på en enda IDS larm, är värdena för α och β lika med värdena för den enda IDS vars råd följs. När den optimala beslutsregeln endast är att svara när båda komponenten IDS indikerar ett larm, parametrarna i den sammansatta ROC-kurvan är: α = α 1 α 2, och β = β 1 + β 2 - β 1 β 2. När den optimala beslutsregeln är att reagera på ett larm från någon av komponenterna IDS, är de effektiva parametrarna för den sammansatta ROC-kurvan: α = α 1 + α 2 - α 1 α 2, och β = β 1 β 2. I vilket fall som helst är den förväntade kostnaden (EC) i form av den tidigare sannolikheten för intrång, p, och kostnadsförhållandet, C, från drift vid en punkt på ROC-kurvan: EC = (1 - p)α + Cpβ. Tillämpa dessa resultat på analysen med två olika IDS från Sec. 3.2 ger den sammansatta ROC-kurvan med de punkter som visas i tabell 1. Denna ROC-kurva visas grafiskt i bild. 12........................................................ Observera att fyra punkter från ROC av IDS "C", som visas som avgränsar de fasta linjerna i Bild. 12, är punkter på den sammansatta ROC. Den femte punkten (15 × 10 -5, 0,72) är inte på den sammansatta ROC eftersom den inte är på konvex skrov av alla punkter. I avsnitt 8.2 beskrivs hur det konvexa skrovet av punkter bestäms från en uppsättning punkter. Alla möjliga punkter för den sammansatta ROC genereras genom att beakta alla fyra beslutsregler. Eftersom prestandan hos en sammansatt IDS som består av två oberoende IDS kan representeras som en enda sammansatt ROC-kurva, kan dess analys utföras på exakt samma sätt som analysen av en enda IDS. Det vill säga en analys av ROC-kurvan i bild.  12 ger samma resultat som visas i bild. Rådets förordning (EEG) nr 1408/71 av den 17 juni 1971 om tillämpningen av systemen för social trygghet när anställda, egenföretagare eller deras familjemedlemmar flyttar inom gemenskapen, samt av förordning (EEG) nr 1408/71 av den 17 juni 1971 om tillämpningen av systemen för social trygghet när anställda, egenföretagare eller deras familjemedlemmar flyttar inom gemenskapen, samt av förordning (EEG) nr 1408/71 av den 17 juni 1971 om tillämpningen av systemen för social trygghet när anställda, egenföretagare eller deras familjemedlemmar flyttar inom gemenskapen, samt av förordning (EEG) nr 1408/71 av den 17 juni 1971 om tillämpningen av systemen för social trygghet när anställda, egenföretagare eller deras familjemedlemmar flyttar inom gemenskapen, samt av förordning (EEG) nr 1408/71 av den 17 juni 1971 om tillämpningen av systemen för social trygghet när anställda, egenföretagare eller deras familjemedlemmar flyttar inom gemenskapen, samt av förordning (EEG) nr 1408/71 av den 18 juni 1971 om tillämpningen av systemen för social trygghet när anställda, egenföretagare eller deras familjemedlemmar flyttar inom gemenskapen 3.2) och av följande skäl: Dessutom kan den sammansatta ROC-kurvan för två IDS kombineras med ROC-kurvan från en annan oberoende IDS för att producera en sammansatt ROC-kurva för de kombinerade IDS-värdena. Det vill säga, samma metod som används för att kombinera två oberoende ROC-kurvor kan tillämpas iterativt för att kombinera ett antal oberoende ROC-kurvor. Denna slutsats tyder på följande, sex steg förfarande för att utvärdera ett antal oberoende IDS: Steg 1. Bestäm motsvarande konvex ROC-kurva för varje IDS. (Se Sekretariatet för Europeiska ekonomiska samarbetsområdet (EES) 8.1 för metoden för att bestämma konvex ekvivalent för konkava sektioner i en ROC-kurva.) Steg 2. För ett par IDS, ange alla kombinationer av punkter på de två ROC kurvorna. Steg 3. Bestäm värdena för parametrarna α och β för alla kombinationer av punkter från steg 2 under var och en av dessa två beslutsregler: 1) svara endast om båda IDS indikerar ett larm och 2) svara om någon av IDS anger ett larm. Steg 4. Identifiera konvexa skrovet för uppsättningen av alla punkter. Setet består av punkterna (α, 1 – β) på varje komponents IDS ROC-kurva, alla punkter som fastställs i steg 3 och endpoints, (0, 0) och (1, 1). Dessa punkters konvexa skrov är den sammansatta ROC-kurvan för de två oberoende IDS:erna. Steg 5. Upprepa steg 2 till 4 tills alla komponent-IDS ingår i den sammansatta ROC-kurvan. Detta kan göras genom att lägga till varje komponents ROC-kurva, i sin tur, till den sammansatta ROC-kurvan eller genom att först kombinera par av ROC-kurvor och sedan kombinera de resulterande sammansatta kurvorna. Steg 6. Använd den slutliga sammansatta ROC-kurvan för att analysera den kombinerade prestandan hos alla oberoende IDS. Observera att man måste hålla reda på de kombinationsregler som används för att generera varje punkt på den sammansatta ROC-kurvan för att bestämma inställningarna för de komponent-IDS som producerar varje punkt. Analysen i detta dokument visar att de vanligaste rekommenderade metoderna för att utvärdera och jämföra IDS är bristfälliga. IDS bör inte utvärderas baserat på områdena under deras ROC-kurvor, deras avstånd från ett mål eller deras falska larmfrekvenser. Utvärderingarna bör baseras på förväntade kostnader som återspeglar: kostnaden för ett falskt larm, kostnaden för ett misslyckande att upptäcka (eller ett förhållande av dessa kostnader) och sannolikheten för intrång. Dessutom bör driftpunkten för en IDS, dess sannolikhet för ett falskt larm (α) och sannolikheten för missad detektion (β) fastställas för att minimera den förväntade kostnaden. Vid bedömningen av driften av flera IDS är ROC-konvexa skrov [15] en otillräcklig vägledning för att avgöra hur flera IDS ska användas på bästa sätt. ROC konvexa skrovet kan användas för att bestämma kombinationer av kostnader och tidigare sannolikhet för intrång för vilka en IDS föredras framför en annan. Den anger inte graden av preferens. Men om inte en av IDS är värdelös, är det bättre att använda IDS i kombination än att använda en enda IDS. Prestandan hos kombinationen av IDS kan representeras i en sammansatt ROC-kurva som kan användas för analyser. De metoder som beskrivs i detta dokument är lämpliga för utveckling till ett beslutsstöd verktyg som kan användas av en systemadministratör för att välja bland IDS, för att indikera den bästa användningen av en enda IDS eller någon kombination av oberoende IDS, och för att ställa in driftsparametrarna för en IDS för optimal prestanda i en given miljö som kännetecknas av kostnader och sannolikheten för intrång. Detta verktyg kan också användas av IDS utvecklare för att utvärdera design kompromisser som leder till olika prestanda. Olika typer av intrång kan analyseras genom att förlänga beslutsträdet i Bild. 2 att inkludera händelsenoder som tydligt visar typen av intrång med en annan ROC-kurva applicerad på varje. Till exempel, ROC kurvor för Columbia IDS fastställdes för de fyra typer av attacker som ingår i 1998 DARPA off-line intrångsdetektion utvärdering [3, 4, 10]. Columbias ROC-kurva är värst mot överbelastningsattacker, lite bättre mot fjärr-till-lokala och användar-till-rota attacker (samma ROC-kurva gäller för båda dessa typer av attacker), och betydligt bättre mot övervakning och förebyggande attacker. Analysen i detta papper hanterar en framväxande attack av intrång och respons endast implicit. Sannolikheten för upptäckt tolkas som sannolikheten för att ett intrång upptäcks innan det gör någon skada, och svaret tolkas som både omedelbart och effektivt. Varje intrång som inte upptäcks och motverkas omedelbart och effektivt modelleras i den enda vägen utan svar på ett intrång. Det vill säga, C β är den förväntade kostnaden med tanke på alla nivåer av skador som kan uppstå innan intrånget neutraliseras. En mer detaljerad analys skulle kunna visa en tidsföljd av händelser som motsvarade fördröjda upptäckter, fördröjda reaktioner, deras sannolikheter och deras effektivitet. Även om analysen i detta dokument koncentrerar sig på det fall där kostnaderna endast är förknippade med fel, utvidgas metoden till att omfatta analyser med andra kostnader, såsom anges i Sec. 8. Vad är det som händer?  Denna bilaga visar analysen för en sammansatt IDS som består av två oberoende IDS när svarsbeslutet fattas endast en gång på grundval av båda rapporterna. För två oberoende detektorer: Så enligt Bayes' Theorem (se [13] ) är parametrarnas värden: Denna bilaga visar analysen för en sammansatt IDS som består av två oberoende IDS när svarsbeslutet fattas sekventiellt efter varje komponent IDS rapport. Beslutsträdet för två IDS med sekventiella beslut, ett efter varje IDS-rapport, visas i bild. 13............................................... Volym 108, Nummer 6, November-december 2003 Journal of Research of the National Institute of Standards and Technology Analysen är som följer. För två oberoende detektorer:. Nu endast om: (1-p)α 1 < (1-p)α 1 α 2 + (1-p)α 1 (1-α 2 ) 0 < (1-p)α 1 α 2 + (1-p)α 1 -(1-p)α 1 α 2 -(1-p)α 1 0 < 0, vilket är en motsägelse. Och bara om: Därför, Det sista uttrycket är identiskt med uttrycket för den förväntade kostnaden för att besluta om svaret på två oberoende detektorer efter resultaten från båda är kända, som härleds i Sec. 6. Vad är det som händer? Eftersom det inte finns någon ytterligare kostnad för att få den andra detektorns rapport, är den förväntade kostnaden från att använda en IDS som består av två oberoende detektorer densamma oavsett om svarsbeslutet fattas sekventiellt efter varje rapport eller om det görs endast en gång på grundval av båda rapporterna.  Tänk på det beslutsträd som visas i bild. 2 och dess förväntade kostnad: Min {Cβp, (1-α) (1-p)} + Min{C(1-β)p, α(1-p)}. De fyra möjliga kombinationerna av uttryck är de förväntade kostnaderna från att följa var och en av fyra strategier: svara aldrig, svara alltid, följ IDS rekommendation (dvs. svara bara på larm) och gör motsatsen till vad IDS rekommenderar (dvs. svara bara på inget larm). Inse att strategierna för att alltid svara och aldrig svara minska till strategin för att följa IDS rekommendation för en IDS som fungerar på punkterna (1, 1) och (0, 0), respektive. Beslutsträdet i Fig. 2 kan förenklas för att ta bort det inbäddade beslutet om det kan visas att det aldrig är optimalt att göra motsatsen till IDS rekommendation. Detta är fallet för en konvex ROC-kurva (dvs. en där 1 -β > α för minst en kombination av α och β). Man skulle antingen följa IDS rekommendation eller alltid svara eller aldrig svara. Anta att det är optimalt att följa IDS rekommendation, då: "Följ" är bättre än "Never Response": Cp > (1 -p) α + Cpβ; "Följ" är bättre än "Always Response": 1 -p > (1 -p) α + Cpβ; och "Följ" är bättre än "Motsatt": Men om en IDS har en konkava ROC-kurva (dvs. en där 1 -β < α), då skulle kostnaden kunna minimeras genom att göra motsatsen till vad IDS rekommenderar. Det är viktigt att lägga märke till att en konkav ROC kan vara lika värdefull som en konvex. Alla IDS med en ROC-kurva som skiljer sig från ROC-kurvan för ingen IDS, 1 -β = α, ger viss information och är bättre än ingen IDS för någon kombination av kostnad och tidigare sannolikhet för intrång. Att göra motsatsen till vad IDS rekommenderar är optimalt om "mot" är bättre än "Never Response": (1 -p) (1 -α) + Cp(1 -β) < Cp; "Nopposite" är bättre än "Always Response": (1 -p) (1 -α) + Cp(1 -β) < 1 -p; och "Nopposite" är bättre än "Följ": Dessutom är en konkav ROC-kurva med parametrar α och β lika med en konvex ROC-kurva med parametrar α ́ och β ́, där α ́ = 1 -α och β ́ = 1 -β. Den förväntade kostnaden från att följa konvex ROC med parametrarna α och β är lika med den förväntade kostnaden från att agera motsatt till konkava ROC med parametrarna α" och β ". ( Så, om de extrema punkterna (0, 0) och (1, 1) betraktas som en del av ROC-kurvan och om punkter där 1 - β < α omvandlas genom att ställa in α = 1 - α och β = 1 - β, då kan det inbäddade beslutet elimineras från beslutsträdet, och den förväntade kostnaden är helt enkelt: α (1 - p) + Cβp. Det förenklade beslutsträdets struktur framgår av bild.  16........................................... Sammanfattning, en IDS som innehåller punkten (0, 1) är en perfekt IDS. En IDS som innehåller punkten (1, 0) är också en perfekt IDS, eftersom man genom att göra motsatsen till sin rekommendation uppnår prestanda som motsvarar IDS med punkten (0, 1). En IDS som endast innehåller punkterna (0, 0), (1, 1), eller någon längs den raka linjen som förbinder dessa två, är en värdelös non-IDS. Alla andra IDS är bättre än ingen men inte så bra som perfekt. Provost och Fawcett [15] beskriver en metod som de kallar ROC-konvexa skrovmetoden för utvärdering av IDS. Enkelt uttryckt bygger metoden en sammansatt ROC-kurva från flera ROC-kurvor genom att ta konvexa skrovet på alla tillgängliga kurvor. Detta identifierar ROC-kurvorna som är optimala för vissa kostnads- och sannolikhetskombinationer. De känner inte igen värdet av konkava ROC kurvor, men deras metod är trivialt utökad till att inkludera konvexa motsvarigheter av konkava ROCs. När det gäller IDS som erbjuder uppsättningar av punkter för en ROC-kurva, konvexa skrovet kommer att vara bitvis linjära, och bestämningen av den optimala inställningen är det linjära programmeringsproblemet med den möjliga region som avgränsas av linjesegment som förbinder punkterna på konvexa skrov av ROC-kurvor och de extrema punkterna av (0, 0) och (1, 1), och den objektiva funktionen är att minimera: Situationens geometri visas för en ROC-kurva med en enda punkt i Fig. 14. Vad är det för fel på dig? IDS är bättre än ingen IDS så länge lutningen av kostnaden minimering objektiv funktion är mellan lutningen av linjen genom (0, 0) och (α 0, 1 -β 0 ) och lutningen av linjen genom (α 0, 1 -β 0 ) och (1, 1). Detta tyder på flera mätvärden för ROC-kurvan. En ROC-kurva är att föredra framför ingen kurva över ett större område av objektiva funktioner om den är mindre (0,5π <  och < π). Alternativt, en ROC-kurva är att föredra framför ingen kurva över ett större intervall av objektiva funktioner om sin(-) är större (0 < sin(-) < 1). Detta överensstämmer med påståendet att en ROC-kurva är att föredra framför ingen kurva över ett större intervall av objektiva funktioner om arean, A, under ROC-kurvan är större (0 < A < 1). Eftersom området under linjen "inga IDS" är lika med 0,5, är den metriska A ́ = A -0,5 förmodligen ett bättre metriska än A. Vinkeln kan bestämmas från koordinaterna för ROC-punkten enligt följande: Men om något är känt om p eller C, intervallen på dessa parametrar där IDS är bättre än ingen IDS är förmodligen bättre mätvärden än någon av de fyra som nämns ovan. Drift vid punkten på ROC-kurvan är bäst om följande två villkor gäller: Ett liknande resultat erhålls för det fall där ROC-kurvan är mer än en punkt, vilket illustreras i bild. 15................................................................ Här är IDS bättre än ingen om: [(1 - p)/ p(α 1 / (1 - β 1 )] < C < [ (1 - p) / p( (1 - α 2 ) / β 2 )], eller motsvarande om: α 1 /[ C( 1 - β 1 ) + α 1 ] < p < (1 - α 2 ) / (1 - α 2 + Cβ 2 ). Här är den vinkel över vilken IDS är bättre än ingen IDS:  till = tan - 1 {[α 1 β 2 - (1 - α 2 ) (1 - β 1 )]/[α 1 (1 - α 2 ) + β 2 (1 - β 1 )]}. En liknande analys kan göras för det allmänna fallet där kostnaderna är förknippade med alla fyra kombinationer av intrång och respons. För en analys baserad på förväntade kostnader kan de faktiska kostnaderna omvandlas genom att först subtrahera kostnaden för ett resultat från de andras kostnader och sedan dividera alla kostnader med en av de återstående icke-nollkostnaderna. Nu är kostnaderna för resultaten alla uttryckta som en linjär funktion av de ursprungliga kostnaderna. Eftersom förväntan om en linjär funktion av en slumpmässig variabel är samma linjära funktion av dess förväntningar, behåller dessa verksamheter den förväntade kostnadsberäkningen. Denna omvandling resulterar i händelseträdet för de allmänna kostnader som visas i bild. 16........................................... Kostnader för händelsekombinationer skalas upp i relativa kostnader. De är i förhållande till kostnaden för ingen respons och inget intrång (dämpande kostnad). De skalas upp till enheter av det belopp som den falska larmkostnaden överstiger den dämpade kostnaden. Med denna kostnadsstruktur är den objektiva funktionen att minimera: K(1 -β)p + α(1 -p) + Cβp. Det finns nu två kostnadskvoter, C och K. Lösning för intervallet där IDS är bättre än ingen IDS i termer av föregående sannolikhet, p, avkastning: Låt D = C -K, skillnaden i kostnad mellan att inte svara på ett intrång och svara på ett intrång. Det vanliga villkoret är att C > K eller, alternativt D > 0 (dvs. det är bättre att svara på ett intrång än att inte svara). Lösning för D, intervallet där IDS är bättre än ingen IDS i termer av denna kostnadsskillnad är: Denna bilaga visar att en sammansatt ROC-kurva kan erhållas från två komponenter ROC-kurvor. Den sammansatta kurvan beror på komponentens ROC-kurvor och den beslutsregel som används för att svara på larm från antingen eller båda komponentens IDS. Denna analys förutsätter att varje komponents ROC-kurva är konvex eller konvex motsvarande en konkava ROC-kurva (enligt beskrivningen i Sec. 8) och av följande skäl: I detta fall kan beslutsanalysen förenklas för att endast beakta de fall då larmen reagerar. I allmänhet måste man överväga beslutsreglerna för: 1) svara endast Detta arbete utfördes under sponsring av USA: s Department of Commerce, National Institute of Standards and Technology under bidrag nummer 60NANB1D0019. Författarnas yttranden, resultat, tolkningar, slutsatser och rekommendationer återspeglar inte nödvändigtvis handelsdepartementets åsikter.  Hänvisningar
Papper REF ligger närmast vårt tillvägagångssätt.
Evaluation of Intrusion Detection Systems
{'venue': 'Journal of Research of the National Institute of Standards and Technology', 'journal': 'Journal of Research of the National Institute of Standards and Technology', 'mag_field_of_study': ['Physics', 'Medicine']}