.-lhrrroCt - Peering tillåtervs tjänsteleverantörer att hantera trafic uppsving med men over-provisioning. Minska kostnaderna för särskild infrastruktur och utnyttja parinerleverantörernas specialisering och priser. I den här tidningen. Vi utvecklar ett peeringssystem för flera leverantörers innehållsleverans baserat på en kostnadsoptimerad peer valalgoritm. Vi formulerar en kostnadsmodell för att utvärdera konkurrerande peering strategier, och använda metasurement data som samlats in från globalt distribuerade nehvork p r o k stationer, Iargescnk webbplatser, och befintliga tjänsteleverantör infrashuctures för att empiriskt utvärdera propensed peering strategier. Vår analys visar att vår peer valalgoritm är betydligt effektivare än giriga alternatirrs, när det gäller att minimera senice cnst och respektera nehr-ork fördröjning och server kapacitetströsklar. nver en brosd range o f real-wnrld scenarier. Systemdesign, simuleringar, nätverksmätningar, erprimentatitm med röda nätverksbestänger. ISTKODI:CTIOS Att leverera storskaliga nätverkstjänster kräver en distribuerad dator och net\\c,rk infr:istructure som ger en genomgående hög nivå av pcr1irm1; incc. och tillförlitlighet inför ökad efterfrågan, misslyckanden och förändringar i kundernas krav. Tjänsteleverantörer som förvärvar; tillhandahålla och förvalta infrastrukturen mnst balanserar dessa krav mot de höga kostnaderna för att distribuera kundanpassade, överfördelade resurser. Tjänsteleverantörer har tagit itu med detta problem i viss utsträckning hy med hjälp av delade.infrastrukturer till multiplex resurser hetween många kunder; och därmed förbättra utnyttjandet. För att ytterligare sänka kostnaderna är leverantörerna i allt högre grad intresserade av att utnyttja data- eller nätverksinfrastruktur från partner genom peeringsmekanismer som gör det möjligt att tillhandahålla och dela dataresurser: och avveckling och utbyte av de intäkter som blir resultatet. Kundens åsikt är fortfarande att en enda leverantör (som vi kallar priiiiv leverantör), whicti kan i själva verket bestå av poolade resurser från flera leverantörer fördelade över ett antal platser. I detta dokument fokuserar man på användningen av kooperativ för innehållsdelivy-tjänster. I t h s scenario; priman. tjänsteleverantör kan deplo! Ett begränsat innehåll hosting infrastruktur i en enda (eller få) datacenter, och samtidigt. Överenskommelser med andra leverantörer av innehållsdistributionssenice (CDSPs) som samtycker till att s e n e kundinnehåll å primans vägnar? Leverantör för en del av intäkterna. Så länge klienten last kan hanteras av priman? leverantör, reqnests kommer att sederas från ursprunget eftersom detta maximerar intäkterna för prima? leverantör. Om den faktiska eller förväntade arbetsbelastningen överstiger kapaciteten hos primanernas servrar, avlastas de överskjutande förfrågningarna till partnersenerna. Valet av vilka kunder är ofta laddade till vilka partners mav han bygger på leverantörskostnad och capacily, förväntade prestanda levereras till kunden från en viss leverantör, eller policyer som föredrar en leverantör o w r en annan. Figur I visar ett enkelt exempel på hur arbetsbördan kan hanteras från primay leverantörens kunder under normala förhållanden, och delvis avlastas till senice leverantör för att hantera översvämningar utan övertäckning, minska infrastrukturkostnader, och utnyttja priserna och specialisering (t.ex. specifika geografiska regioner) i f andra leverantörer. Medan peering för innehåll deliven är tilltalande av alla dessa skäl; det finns ett antal utmaningar i att utforma en?stam som virtualiserar flera. Leverantörer; och riktar kunder till olika leverantörer har på kostnad, petfbtmance och förväntad belastning. Vårt bidrag ligger i att utforma och genomföra en peering. tem -som minimerar kostnaden samtidigt respektera klienten 0-7803-8355-9/04/$20.00 02034 IEEE. Prestandakrav. Detta är i motsats till pcer val i traditionella peer-to-peer nätverk där fokus främst är på att effektivt hitta en närliggande peer med önskat innehåll. W e utvärdera vår strategi mot altcrnative system med hjälp av verkliga trafiic data från stora webbplatser, begäran-routing data som samlats in från mätningar av operativa CDSPs, och nätverksplacering d a b samlas in från en uppsättning globalt distribuerade sondstationer. Specilically> Vi föreslår lösningar för följande nyckelfrågor: -IP'hen till iffluad? Vi använder ett proaktivt tillvägagångssätt i n h c h klient belastning övervakas kontinuerligt på priman leverantör-s servrar för att förutsäga h t u r e efterfrågan och utlösa offload när belastningen överstiger tillgänglig kapacitet. IF/io till offlood? Vi föreslår och utvärderar en ny klient clustming system som balanserar nätverk prosimity och belastning förutsägelse noggrannhet. Små kluster möjliggör en mer exakt uppskattning av kundens lokalisering, men större kluster genererar mer agpegatetrafik, vilket förbättrar trafikförutsägbarheten. IT, l, io av last till'? När du väljer en partnerleverantör för en p u p av kunder, är det nödvändigt att beakta kostnaden samt den förväntade pelformance. Detta kompliceras av separat NDministration och begränsat informationsutbyte mellan enskilda leverantörer. Vi utnyttjar omdirigeringsmodeller utvecklade i [3] för att förutsäga prestanda för partnrrs. Hur IO avlastas? Vår peering >?stam har på DNS-baserade begäran-routing, rrrich är defacto standard som används av CDSPs. Domännamnet Senice (DNS) ger ett relativt transparent sätt att styra kunder mellan Senice leverantörer, och att återvinna dem när det är lämpligt. I utvärderingen av vår pcenng strategi visar vi att vår föreslagna peer selection algoritm är betydligt effektivare än geed) alternativ, vilket i genomsnitt en faktor på 1,5 gånger högre kostnad. Vi visar att denna prestanda är konsekvent över en rad olika verksamhetsmiljöer, inklusive olika webbplatser, prisstrukturer och förväntade fördröjningströsklar. Resten av detta dokument är organiserat enligt följande. I nästa avsnitt ger vi bakgrundsinformation. I avsnitt 111 ger vi ett mer formellt uttalande om problemet som våra peeringsstrategier tar upp. Vi presenterar vår peer valalgoritlun, experimentell metodik; och datainsamling förfaranden i avsnitten IV och V. Vi fctail resultaten av vår analys i Avsnitt VI. Vi sammanfattar dokumentet i avsnitt VII. 11. Vad är det för fel på dig? B-\CKKKOL~ND Vårt peeringssystem använder toppmoderna tekniker för att uppskatta kundens plats och förutsäga prestanda från partnerleverantörer. I detta avsnitt. Vi ger en översikt över hur vi utnyttjar det befintliga arbetet med att utforma vårt system. I nästa avsnitt. Vi ger ett mer formellt uttalande om det problem som tas upp i detta.papper. använda terminologi och notation inuoduccd i detta avsnitt.. %) beräknas som Euclidean avståndet mellan Vi använder detta schema för att tilldela absoluta koordinater till tusentals IP-adresser. baserat på mätningar från globalt distribuerade sondstationer. Vi kan sedan dra slutsatsen att avståndet mellan kunder och servrar som tillhör partnerleverantörer gör det möjligt för peering tem att styra kunder till leverantörer som förväntas uppfylla prestandakraven. Vi beskriver insamlingen av netvork prohe data, liksom andra datamängder som används i vår studie, i Avsnitt V. Observera att medan \re begränsa vår uppmärksamhet till avstånd som nyckelprestanda metrisk (särskilt för webbinnehåll deliyen) andra mått såsom optimera cache träffhastighet kan också vara användbart [25]. Storskaliga webbplatser ofta senre innehåll från flera, geografiskt distribuerade sener uppsättningar som kan bestå av speglade servrar eller vara en del av ett innehåll deliven. Nätverk (CDN). Den vanligaste metoden för att styra kunder till en specifik server är via DNS begäran routing. DNS-baserade tekniker kan också hc används för att omdirigera kunder från priman provider.s hosting infrastruktur till 3 partner n h o pelforms sitt eget sener urval [6]. Förutsägelse av prestanda en panner s e n e r skt kommer att ge en viss klient kräver viss kunskap om hur partnern väljer servrar € eller olika kunder. De faktiska kriterier för serverurval som används i CDN anses i allmänhet vara propnetaninformation, och kan han ha på komplexa och dynamiska mätvärden [5][17], vilket gör det svårt att förutsäga. 0-7803-8355-9M20.00 02004 LEE. En nyligen genomförd mätningsbaserad studie [3] av 851 kommersiella serveruppsättningar visade dock att dessa system, trots olika urvalskriterier, kan modelleras med rimlig noggrannhet. Studien visade att det var möjligt att förutsäga avståndet mellan kunder och den valda avloppet till inom 20 ms i 90% av fallen med några enkla modeller. Studien föreslog ett avståndsmått som är den genomsnittliga fördröjningen från en klient till varje server i uppsättningen, viktad av probabilif att klienten är riktad till 3 specifika server. De modeller som utvecklats i tidningen inkluderade: -ii välja den närmaste servern till klienten i termer av nätverk dela! " (kallas MIN): iij ett enhetligt val mellan första och andra närmaste (MINZ), iii) belastningsavstängning med enhetligt serverval (LBP), och iv) en policy där 80 % av trafiken riktas till närmaste avlopp medan 20 % fördelas jämnt mellan de återstående servrarna (WGT). Vi använder information såsom antalet servrar; platser för servrar, och omdirigering policies som upptäckts i [3]. för att utvärdera våra peering strategier. Dessutom, när man härleder avståndet mellan kunder och serveruppsättningar; Vi använder samma viktade genomsnittliga avstånd metrisk.. Vår peering strategi beskrivs i Avsnitt IV och den kloakuppsättning data som används för dess eyaluation är detaljerad i Avsnitt V. - Vårt mål är att minimera kostnaden för att vara värd en arbetsbörda på en federerad infrastruktur som omfattar uppsättningar av servrar utplacerade av en priman tjänsteleverantör och dess partners. Den primära tjänsteleverantören väljer bland p r i m q och partner sen-er-uppsättningar: varje serverleverantör utför serverval inom sin egen serveruppsättning. Serveruppsättningar kan vara globalt eller regionalt utplacerade; och serveruppsättning täckning kan vara överlappande eftersom flera leverantörer kan distribuera avlopp i samma nätverk eller,geografisk region. Exempel på semer uppsättningar inkluderar surrogat avlopp utplacerade av CDSPs, mindre servrar utplacerade hy ett innehåll hosting enhet, och caching avlopp. deployed i access nätverk. Vi fokuserar på arbetsbelastningar (såsom webbinnehåll deliver?) Var är priman? Målet är att tillhandahålla kundförfrågningar genom att leverera data till kunden. w e utföra vår analys med hjälp av en avgift som är representativ för innehållet delivev miljön [2 11. På ett picifiskt sätt är kostnaden för service en arbetsbörda summan av de avgifter som tas ut av servern uppsättningar som deltar i service av arbetsbelastningen: plus eventuella påföljder ~ på grund av överträdelser av angivna nätverksfördröjning eller kapacitetströsklar. Serveruppsättningsavgifter är bandbreddsbaserade, dvs. avgiften är en avgift per megabit innehåll som serveras per sekund. Avgifter bedöms enligt 95*' percentilen qf den maximala bandbredd som används under någon mätperiod under tjänstens interna. En measurement period, till exempel, kan han 60 sekunder medan en tjänst i n t e n d är i storleksordningen 1 månad. .beteckna senrice intervallet. Vidare, låt S betecknar uppsättningen av deltagande serveruppsättningar där i E S, och K betecknar uppsättningen av kunder, k E K. Varje kloak set i har en positiv avgift betecknad av klienten förfrågningar som är riktade till en överbelastad semer eller till en semer för vilken nätverksfördröjningen överstiger D sägs vara rnisdiiructed av uppdraget policv. Vi använder c(.Yf, $) för att beteckna den del av arbetsbördan som är felriktad. En leverantör ådrar sig en straffavgift; y, för arbetsbelastning som inte betjänas enligt senvicekriterier (antingen för att det inte var lugnande eller för att det var felriktat). Således totala trängselkostnader C j för en enda leverantör jag är: där flX, är 95" percentilen av en arbetsbelastning X. Termerna i definitionen av C, representerar kostnaden för avlastning av trafiken t o andra leverantörer: (3); de sanktioner som infördes på grund av att de resurser som krävs för att uppfylla målen för servicenivån inte var tillgängliga vid behov (4); och de påföljder som uppstod på grund av att kundförfrågningar felaktigt riktades till en server 'I ekvation (2) använder vi notationen x':= max(x, 0; som inte uppfyllde sy-nivåmålen (5). Observera att kostnaden inkluderar villkor relaterade till prestanda samt bussmessrelaterade överväganden. Vårt mål är att de\.elop en algoritm som kan hitta uppdraget 4 r) för alla I E T som minimerar trängselkostnader (specificerad ahove i termer (3, 4; 5)) som uppstår av en enda leverantör I. Vi anser inte att optimeringar uppnått hy förändringar i kapacitiven (d.v.s.: värdena i I är statiska), eftersom arbetsuppgiftsalgoritmer endast påverkar den faktiska fördelningen av kapaciteten hos i och dess jämlikar. Dessutom antar vi wokload ~Y, (r) och priset som debiteras av leverantören i för att sy.\; (r) båge påverkas inte av tilldelningspolicyn. Detta möjliggör en förenklad kostnadsbaserad formulering (i motsats till en vinstbaserad formulering). Medan lösningen är deterministisk när arbetsbelastningen, S(I), är känd,.Y(I) för hela intervallet T i s inte känd vid den tidpunkt då urvalet görs. Viktigare är att det inte är möjligt att beräkna det optimala uppdraget (eftersom det finns hundratusentals kunder i den miljö vi vill ta itu med). Vårt mål är inte att lösa detta problem analytiskt, utan istället att utveckla ett system som använder heuristik för att approximera den optimala lösningen. Med tanke på den information som fanns tillgänglig vid tidpunkten för urvalet. Vi använder de trängselkostnader som definieras i detta avsnitt för att jämföra vår strategi med giriga alternativ. Vi beskriver också hur vår algoritm införlivas i en morc omfattande peering. Jag vet inte vad jag ska göra. kan hantera arbetsbelastningsuppdrag på en storskalig kommersiell webbplats. I.8 Förnyelse av bilaga I till förordning (EU) nr 1094/2010 och bilaga II till förordning (EU) nr 1094/2010, bilaga III till förordning (EU) nr 1094/2010, bilaga III till förordning (EU) nr 1094/2010, bilaga III till förordning (EU) nr 1094/2010, bilaga III till förordning (EU) nr 1094/2010 och bilaga III till den här förordningen. PEER SELECTIOS ALGORITRISI detta avsnitt; Vi beskriver vår föreslagna algoritm för kostnadsoptimerad peering, som ~e refererar till som COP. Vi börjar med att introducera en norel klient klusterteknik och sedan descnhe hur COP använder det. Vi sammanställer vårt förslag med två alternativa strategier. I senare avsnitt, 15-e kvarn jämföra resultaten av dessa strategier om arbetsbelastning som genereras från två globala sportevenemang webbplatser, med hjälp av kloakuppsättningar som är representativa för kommersiellt utplacerade innehåll deliven infrastruktur, och klient lokaliseringsdata som samlas in från globalt distribuerade nätverk prohe stationer. Kommissionen ska anta delegerade akter i enlighet med artikel 10 i syfte att anta delegerade akter i enlighet med artikel 10 i denna förordning för att se till att de bestämmelser som avses i punkt 1 i den här artikeln efterlevs. IP.Adress Chrsrer?iip COP försöker inte assi-en individuell klient IP-adresser till sener uppsättningar. hyddan fungerar istället på kluster av nätverksproximala kunder. Arbetsbelastningsstatistiken spåras och set-uppdragen pelformas per kluster. Medan klustering förbättrar beräkningseffektiviteten för thc uppdragsalgoritm, använder vi den också för att minska vissa nackdelar med DNS-hased omdirigering. DNS omdirigering är en mycket skalbar, hydda grovkornig mekanism för att styra kunder till nätverk senice punkter. Eftersom DNS-svar kan cachad a1 kunder och lokala DNS (LDNS) serverx flera förfrågningar från potentiellt olika kunder kan använda resultatet från en enda DNS-upplösning. Ställa ut ett DNS-svar till ett litet värde kan begränsa, men inte eliminera, denna effekt. Vi föreslår en traffic clustering teknik som gör det möjligt för kunder att gruppera päls effektiv nätverkslokalisering och trafikuppskattning, och därmed bidrar till att lindra några av de problem som uppstår från grovkorniga klient-till-server uppdrag som är gemensamma för DNS-baserad omdirigering. Vår klusterstrategi kombinerar tekniker från nätverksmedveten klusterbildning, lokaliseringsinferens och rumslig analys. Vi använder nätverksprohe data som beskrivs i Avsnitt V för att tilldela ahsolute koordinater till IP-adresser. IP-adresser som endast skiljer sig från den sista okteten (dvs. > I24-adressundernät) grupperas och tilldelas en enda uppsättning koordinater. Vårt beslut att gruppera IP-adresser enligt I24-adressen baseras på resultat under [2] som anger en liten avvikelse i fördröjningsmätningar till IP-adresser i samma 124 suhnet. Klustret processen hegins genom att välja en representativ uppsättning av stationer koordinater. a s avbildad i figur 2 och tilldelning av IP-adresser till närmaste station. Stationskoordinaterna; som är centroiderna för koordinaterna för IP-adresser i klustret; sys som platsuppskattning för alla IP-adresser\rithin klustret. I avsnitt VI ger vi en jämförande utvärdering av alternativ för val av stationer, inklusive mänsklig befolkning och webbtrafikcentra. Vi utvärderar också COP över en rad klusterstorlekar. COP algoritmen fungerar genom att acceptera tre primaninputs: serveruppsättningsdata, arbetsbelastningsdata och IP-adresskoordinatdata. Det producerar en tilldelning av klient vorkload till olika s e n e r set, inklusive primae leverantör. Uppgifterna för varje s e n r set i är den avtalade kapaciteten. ri, enhet priset för tjänsten; pi; och ahsolute koordinater, V(s,); av IP-adresser för varje semer se i avlopp set I. Den senrer uppsättning IP-adresser kunde antingen tillhandahållas av partnern eller härleds med hjälp av tekniker liknande de som beskrivs i [ 3 ]. Inmatningen av arbetsbelastning är en trafiklogg där euch e nt v representerar en kundförfrågan och innehåller en tidsstämpel: klientens IP-adress och antal byte som skickas som svar på begäran. I'(I)> spåras för varje klientkluster i form av antal förfrågningar och antal byte i svaret. De absoluta koordinaterna för varje klientkluster, V(k), beräknas och lagras också. Utgången från COP är en tilldelning av andelen förfrågningar från varje klientkluster som skulle tilldelas varje s e n e r set. COP algoritmen kastar kloakerna set urvalsproblem som ett minimum kostnad nätverk tlow optimering problem. Mincost flow formuleringar är ett vanligt verktyg för att lösa 0-7803-8355-9/04/S20.00 82004 BEE. 853 Sen-cr Ställer in Bild 3 ; klientkluster är anslutna till sen-er uppsättningar i en bipartit graf. En kant ansluter kluster k till serveruppsättningen i. Om avståndet heterwen X och i (enligt definitionen i avsnitt 11.B) är mindre än tröskeln för nätverksfördröjning, D. Kostnaderna för alla kanter är 0. usccpt de som leder från.serveruppsättningar till si&. Dessa bär den feu som är associerad med serveruppsättningen. Kapaciteten hos w T c r tct lo vask kanter är.set till, avtalad capacih av tenur set. . Kapaciteten av kanter från källa till klient clustci-. - När då? Clicnt kluster till avloppsset är inställd på arbetsbördan gencratcd h! Tlic con-cspunding klientkluster. COP implementerar netirork simplex algoritmen [I] till. Hitta tlo\v-värden, h, för varje (X, ;)-tuple, som uppfyller målet min-kostnad, max-flöde. Vid administrativt definierad avsikt, COP producerar en karta, som anger fraktionen av norkloadfi /.\ * (t) ~ från h-som är att han riktade till i i i intervall 1. Kartan lagras i en utökad trisk datastruktur utformad för snabba IP routing tabell lookups. Vår peering DNS protokoll motor, PDNS, peiforms en uppslagning med klienten IP-adress när en klient begäran tas emot för att avgöra lämplig kloakuppsättning uppdrag. Även om selcction kriterier för flera leverantörer innehåll deliven har föreslagits. ingen tar upp de kriterier som vi vill utvärdera (nämligen. minimerar service leverans?. kostnader samtidigt som målen för servicenivån respekteras). Till exempel innehållsserveringen Utilit). Decrired i [Il l tillåter en administratör att förstoppa primat? proaider auktoritativ DNS-sener att omdirigera kunder till en partner CDN based.on några statiska riktlinjer, men tar inte hänsyn till kostnad eller arbetsbelastning. Ett andra exempel, CDN Brokering systemet [6], implementerar. ett DNS-hased begäran-routing system och en
Medan de ovannämnda forskningsinsatserna inte explicit virtualisera flera CDN leverantörer, ett peering system för innehåll leverans arbetsbelastning i en federerad, multi-provider infrastruktur presenteras av Amini et al. Hoppa över det.
Effective peering for multi-provider content delivery services
{'venue': 'IEEE INFOCOM 2004', 'journal': 'IEEE INFOCOM 2004', 'mag_field_of_study': ['Computer Science']}