Urvalsförfaranden används i en mängd olika tillämpningar för att välja det bästa av en begränsad uppsättning alternativ. 'Best' definieras med avseende på det största medelvärdet, men medelvärdet härleds från statistisk provtagning, som i simuleringsoptimering. Det finns en mängd olika förfaranden som väcker frågan om vilket urvalsförfarande som ska väljas. Det viktigaste bidraget från detta dokument är att genom omfattande försök identifiera de mest effektiva urvalsförfarandena när proverna är oberoende och normalt distribueras. Vi sammanfattar också (a) de viktigaste strukturella tillvägagångssätten för att härleda urvalsförfaranden, (b) formalisera nya urvalstilldelningar och stoppa regler, (c) identifiera styrkor och svagheter i förfarandena, (d) identifiera några teoretiska kopplingar mellan dem, (e) och presentera en innovativ empirisk testbädd med den mest omfattande numeriska jämförelse av urvalsförfaranden hittills. De mest effektiva och lättast att kontrollera förfaranden fördela prover med en Bayesian modell för osäkerhet om medlen, och använda nya adaptiva stopp regler som föreslås här. Urvalsförfarandena är avsedda att välja det bästa av en begränsad uppsättning alternativ, där det bästa bestäms med avseende på det största medelvärdet, men medelvärdet måste härledas genom statistisk provtagning (Bechhofer et al. 1995)............................................................................................................ Urvalsförfaranden kan informera chefer hur man väljer det bästa av en liten uppsättning alternativa åtgärder vars effekter utvärderas med simulering, och har genomförts i kommersiella simuleringsprodukter. Urvalsförfaranden har också väckt intresse i kombination med verktyg som flera attribut verktygsteori (Butler et al. 2001), evolutionära algoritmer (Branke och Schmidt 2004), och diskret optimering via simulering (Boesel et al. 2003)............................................................................................................ Tre huvudstrategier för att lösa urvalsproblemet skiljer sig åt genom deras antaganden om hur bevisen för korrekt urval beskrivs och urvalstilldelningar görs: likgiltighetszonen (IZ, Kim och Nelson 2006), det förväntade värdet av informationsförfarandet (VIP, Chick och Inoue 2001a) och den optimala budgettilldelningen (OCBA, Chen 1996) tillvägagångssätt. IZ-förfarandena fördelar normalt prov för att ge en garanterad lägre gräns för den frekventa sannolikheten för korrekt urval (PCS), med avseende på urvalsfördelningen, för urvalsproblem i en viss klass (t.ex. är medelvärdet för det bästa minst ett på förhand angivet belopp bättre än varje alternativ). VIP-metoden beskriver bevis för korrekt urval med Bayesian bakre distributioner, och allokerar ytterligare prover med hjälp av beslut-teori verktyg för att maximera det förväntade värdet av information i dessa prover. OCBA är en heurist som använder en normal fördelnings approximation för Bayesians bakre fördelning av den okända genomsnittliga prestandan för varje alternativ för att sekventiellt fördela ytterligare prover. I varje tillvägagångssätt fastställs ett antal olika antaganden, approximationer, stoppregler och parametrar som kombineras för att definiera ett förfarande. Med så många variationer uppstår frågan om vilket urvalsförfarande som skall väljas. Frågan är viktig eftersom de krav som ställs på simuleringsoptimeringsalgoritmer ökar. Svaret kan också ge nya insikter om skillnader i den empiriska prestandan hos tre olika metoder för statistiskt beslutsfattande (klassisk, eller frekventist, statistik; Bayesian beslutsteori; och heuristiska modeller om sannolikheten för korrekt urval). * Institutet AIFB, University of Karlsruhe, Tyskland {branke,csc}@aifb.uni-karlsruhe. En grundlig jämförelse av dessa tre tillvägagångssätt har inte tidigare gjorts. Initialt arbete visar att speciella fall av VIP-utlösande specifika IZ- och OCBA-förfaranden (i en jämförelse av tvåstegsförfaranden) och specifika sekventiella VIP- och OCBA-förfaranden är effektivare än tvåstegsförfaranden (Inoue et al. 1999)............................................................................................................ KN-familjen av förfaranden är effektiv bland IZ-förfaranden (Kim och Nelson 2006). Inget papper har studerat mer än en begränsad uppsättning förfaranden med avseende på en måttlig experimentell testbädd. Detta dokument tar upp det ouppnåeliga behovet av en omfattande jämförelse av IZ-, VIP- och OCBA-förfaranden. §1 sammanfattar de viktigaste tillvägagångssätten för urvalsförfaranden, härleder nya varianter och formaliserar nya stoppregler för VIP- och OCBA-förfaranden. Varje förfarande gör approximationer, och ingen ger en optimal lösning, så det är viktigt att förstå styrkor och svagheter i varje strategi. §2 beskriver nya mätningar för att utvärdera var och en med avseende på: • Effektivitet: Medelbeviset för korrekt urval som en funktion av det genomsnittliga antalet prover. • Kontrollerbarhet: Lättheten att fastställa ett förfarandes parametrar för att uppnå en målinriktad evidensnivå. • Robusthet: Beroendet av ett förfarandes effektivitet på de underliggande problematikerna. • Känslighet: Parametrarnas effekt på det genomsnittliga antalet prover som behövs. Vissa utövare önskar en (statistiskt konservativ) lägre gräns för den riktade bevisnivån, såsom en frekventist PCS IZ garanti, men detta kan leda till överdriven provtagning. Tillsammans visar effektivitet och kontrollbarhet hur nära den önskade bevisnivån ett förfarande blir samtidigt som man undviker alltför stor provtagning. Förfarandena jämförs empiriskt på ett stort antal urvalsproblem som beskrivs i §3. Testbädden är unik inte bara på grund av sin storlek, utan också genom att den inkluderar randomiserade problemfall, förutom strukturerade problemfall som vanligtvis studeras, men som sannolikt inte finns i praktiken. Fokus ligger på applikationer där proverna är gemensamt oberoende och normalt distribueras med okända och potentiellt olika varianser, eller nästan så som är fallet i stokastisk simulering med batching (lag och Kelton 2000). Branke m.fl. (2005) presenterade en undergrupp av preliminära empiriska resultat och bedömde ytterligare stoppregler som var något mindre effektiva än de som nämns nedan. 4 § jämför empiriskt de olika urvalsförfarandena på en rad olika testproblem. Resultaten visar att ett ledande IZ-förfarande, kallat KN++ (beskrivs nedan), är effektivare än de ursprungliga VIP- och OCBA-förfarandena, men är statistiskt konservativt, vilket kan leda till överdriven provtagning. I kombination med de nya stoppreglerna är VIP- och OCBA-förfarandena effektivast. De tenderar också att vara mer kontrollerbara och robusta i experimenten nedan. §5 rekommenderar dessa förfaranden och diskuterar viktiga frågor för att välja ut ett urvalsförfarande. Tillägg i Online Companion generalisera en OCBA förfarande, ge strukturella resultat som tyder på varför vissa VIP och OCBA förfaranden fungerar på samma sätt, beskriva genomförandet, och visa och tolka ytterligare numeriska resultat. Vi formaliserar först problemet, sammanfattar antaganden och fastställer notation. I punkt 1.1 beskrivs åtgärder för att påvisa korrekt urval och på grundval av dessa införs nya stoppregler som förbättrar effektiviteten. I punkt 1.2–1.4 beskrivs befintliga och nya förfaranden från IZ, VIP och OCBA. [k] vara de beställda medlen. I praktiken är beställningen [·] okänd, och det bästa systemet, system [k], ska identifieras med simulering. De förfaranden som behandlas nedan härrör från antagandet att simuleringsutgången är oberoende och normalt distribueras, beroende på w i och σ 2 i, för i = 1,...., k. Även om normalitet antagandet inte alltid är giltigt, är det ofta möjligt att batch ett antal utgångar så att normalitet är ungefär nöjda. Vektorer är skrivna i fetstil, såsom w = (w 1,. .., w k ) och ett problem instans (konfiguration) betecknas med χ = (w, σ 2 ). Låt n i vara antalet repliker för systemet jag kör hittills. vara den ordning av provet medel som baseras på alla replikeringar som hittills setts. Jämlikhet förekommer med sannolikhet 0 i sammanhang av intresse här. Mängderna n i,x i,σ 2 i och (i) uppdateras eftersom fler replikationer observeras. Varje urvalsförfarande genererar uppskattningar av w i, för i = 1,..., k. För de förfaranden som studeras här, w i =x i, och ett korrekt urval sker när det valda systemet, system D, är det bästa systemet, [k]. Vanligtvis om T v är en slumpmässig variabel med standard t fördelning med mot grader av frihet, vi betecknar (som do Bernardo och Smith 1994) fördelningen av μ+ Om σ = ∞ eller 1/0, då St (μ, σ, v) betecknar en punkt massa på μ. Beteckna den kumulativa fördelning funktion (cdf) av standard t fördelning (μ = 0, σ = 1) av 0 mot () och sannolikhet densitet funktion (pdf) av ✔ vs (). Detta avsnitt ger en enhetlig ram för att beskriva både frekventistiska och bayesiska åtgärder för urvalsförfarande effektivitet och bevis på korrekt urval. De är skyldiga att härleda och jämföra förfarandena nedan. De används också inom Bayesian procedurerna (VIP och OCBA) för att avgöra när bevisen för korrekt urval är tillräckliga för att stoppa provtagningen. Åtgärderna definieras i termer av förlustfunktioner. Noll-one förlustfunktion, L 0‐1 (D, w) = 1 1 w D = w [k], är lika med 1 om det bästa systemet inte är korrekt valt, och är 0 annars. Alternativkostnaden L oc (D, w) = w [k] − w D är 0 om det bästa systemet väljs korrekt, och är annars skillnaden mellan det bästa och det valda systemet. Alternativkostnaden är mer förnuftig i affärsapplikationer. IZ-procedurerna tar ett ofta förekommande perspektiv. Den frekventistiska sannolikheten för korrekt urval (PCS IZ ) är sannolikheten för att medelvärdet av det system som valts som bäst, system D motsvarar medelvärdet av systemet med det högsta medelvärdet, system [k], beroende på problemet instans (detta tillåter band). Sannolikheten är med avseende på simuleringsutgången X ij som genereras av förfarandet (införandena x ij bestämma D). Olikhet zon förfaranden försöker garantera en lägre gräns på PCS IZ, med förbehåll för likgiltighet-zon begränsning att det bästa systemet är minst δ * > 0 bättre än de andra, Ett valt system inom δ * av det bästa kallas bra. Vissa IZ-procedurer uppfyller frekventa sannolikhet för goda urvalsgarantier, PGS IZ,δ * (χ) Bayesian procedurer antar att parametrar vars värden är okända är slumpmässiga variabler (t.ex. det okända medlet W), och använder de bakre fördelningarna av de okända parametrarna för att mäta kvaliteten på ett urval. Med tanke på de data E sett hittills, två mått på urval kvalitet är förväntan över både D (som bestäms av den slumpmässiga X ij ) och den bakre fördelningen av W, givet E. Om man antar en icke-informativ föregående fördelning för det okända medelvärdet och varians, den bakre marginell fördelning för det okända medelvärdet Groot 1970). Varje Bayesian procedur nedan väljer systemet med det bästa provtagningsmedelvärdet efter all provtagning, D = (k). Tillnärmningar i form av begränsningar av ovanstående förluster är användbara för att härleda urvalstilldelningar och fastställa stoppregler. Slepians ojämlikhet (t.ex., se Kim och Nelson 2006) innebär att det senare beviset för att systemet (k) är bäst uppfyller Den högra sidan av Ojämlikhet (3) är ungefär där d * jk är det normaliserade avståndet för system (j) och (k), och v (j) k) kommer från Welch approximation för skillnaden W (k) − W j) av två skiftade och skalade t slumpvariabler (lag och Kelton 2000, s. 559):. Vi fann att approximationen av Welch överträffade en annan approximation vid tidigare jämförelser av urvalsförfaranden (Branke et al. 2005).................................................................. Den bakåtriktade sannolikheten för ett bra urval, där det valda systemet ligger inom δ * av det bästa, kan approximeras på ett liknande sätt av Termen EOC Bayes kan vara dyrt att beräkna om k > 2. Sammanräkning av förlusterna från (k − 1) parvisa jämförelser mellan det nuvarande bästa och det andra systemet ger en lätt beräknad övre gräns för Inoue 2001a, 2002). Låt f (j)(k) (·) vara den bakre pdf för skillnaden Vi betecknar den standardiserade EOC-funktionen av Chick och Inoues övre gräns för EOC Bayes är lätt att approximera, med Bonferronis ojämlikhet, av EOC Bonf, där VIP och OCBA procedurer som definieras nedan kan använda värdena för EOC Bonf och PGS Slep,δ * för att besluta när man ska stoppa provtagning. I synnerhet används följande stoppregler: 1. Sekventiell (S): Upprepa provtagningen medan k i=1 n i < B för vissa angivna totala budget B. 2. Utgångspunkten är följande: Sannolikheten för ett bra urval (PGS Slep,δ * ): Upprepa medan PGS Slep,δ * < 1 − α * för ett angivet sannolikhetsmål 1 − α * och ges δ * ≥ 0. 3. Vad är det som händer? Förväntade alternativkostnad (EOC Bonf): Upprepa medan EOC Bonf > β *, för en specificerad EOC mål β *. Tidigare arbete för sekventiella VIP- och OCBA-procedurer använde S-stoppregeln. De övriga stoppreglerna ger flexibilitet att stoppa tidigare om bevisen för korrekt urval är tillräckligt höga och möjliggör ytterligare provtagning när bevisen inte är tillräckligt höga. IZ kräver δ * > 0. VIP- och OCBA-tillståndet δ * = 0 för att uppnå ett rent PCS-baserat stopptillstånd. Vi använder PCS Sleep för att beteckna PGS Slep,0. IZ-metoden (Bechhofer m.fl.) 1995; Kim och Nelson 2006) försöker garantera PCS IZ ≥ 1 − α * > 1/k, när det bästa systemet är minst δ * bättre än de andra systemen. Parametern indifferent-zon δ * framkallas vanligtvis som den minsta skillnaden i genomsnittlig prestanda som är betydande för beslutsfattaren. Vissa KN-procedurer, inklusive KN++, kan hantera det mer allmänna fallet med korrelerad simuleringsutgång. Här specialiserar vi procedur KN++ för oberoende utmatning. Proceduren skärmar ut vissa system som körs observeras, och varje icke-eliminerat system simuleras samma antal gånger. Vi använde  till = 1 replikering per steg per icke-eliminerat system, och uppdaterade provvariansen i varje steg. Förfarande KN++ (oberoende prov) 1. Ange en konfidensnivå 1 − α * > 1/k, en parameter för likgiltighetszon δ * > 0, en förstastegsprovstorlek n 0 > 2, och ett antal prov som ska köras per icke-eliminerat system per efterföljande steg. 2. Utgångspunkten är följande: Initiera uppsättningen icke-eliminerade system, 4. Återlämna återstående system, system D, som bäst. VIP fördelar prov till varje alternativ för att maximera det förväntade värdet av information (EVI) av dessa prover. Vissa balanserar kostnaden för provtagning med EVI, och vissa maximerar EVI som omfattas av en provtagning Detta avsnitt påminner om dessa förfaranden, och anpassar dem för att tillåta användning av stoppreglerna i §1.1. Förfarande 0-1. 1. Vad är det för fel på dig? Ange en provstorlek i första etappen n 0 > 2 och ett totalt antal prov τ > 0 som ska fördelas per efterföljande steg. Ange parametrar för stoppregler. 2. Utgångspunkten är följande: Kör oberoende replikationer X i1,. ., X i 0, och initiera antalet replikeringar n i ← n 0 köra hittills för varje system, i = 1,...., k. och normaliserad avstånd d * ik är som i (4) Förfarande LL är en variant av 0-1 där provtagning tilldelningar försöker minimera EOC Bonf. Förfarande LL. Samma som förfarande 0-1, förutom set γ i) i steg 4c till OCBA är en klass av förfaranden som ursprungligen föreslogs av Chen (1996) och som har flera variationer (t.ex. Chen och Al. 2000; Chen m.fl. 2006).................................................................. Variationerna innebär olika approximationer för PCS Bayes, och heuristik för hur ytterligare prover kan förbättra sannolikheten för korrekt urval. Här anger vi idén bakom OCBA och de variationer som används för detta papper. OCBA utgår från att om ytterligare τ-replikationer tilldelas för system i, men ingen tilldelas för de andra systemen, ska standardfelet för det uppskattade medelvärdet för system i skalas tillbaka därefter. Den vanliga OCBA antar normala distributioner för att approximera effekten, men vi använder Student distributioner, för konsekvens med en Bayesian antagande för den okända σ 2 i. Chen et al. (2006) Effekten av att tilldela ytterligare τ replikationer till system i, men inga replikationer till de andra, leder till en uppskattad ungefärlig sannolikhet för korrekt urval (EAPCS) utvärderas med avseende på fördelningen av W = (W 1,. ..,W k ), och medW (j) −W (k) ungefärlig med hjälp av Welch approximation. där 1 1 {·} är 1 om argumentet är sant, och 0 annars. Dessa approximationer resulterar i en sekventiell OCBA-algoritm som girigt fördelar prover till system som mest ökar EAPCS i − PCS Sleep i varje steg. En nyhet för OCBA här är att provtagningen fortsätter tills en stoppregel från §1.1 är nöjd. Förfarande OCBA. 1. Vad är det för fel på dig? Ange en förstastegsprovstorlek n 0 > 2, ett antal q system att simulera per steg, en provtagningssteg τ > 0 för att fördela per efterföljande steg, och stoppa regelparametrar. 2. Utgångspunkten är följande: Kör oberoende replikationer X i1,. ., X i 0, och initiera antalet replikeringar n i ← n 0 köra hittills för varje system, i = 1,..., k. 3. Bestäm provet statistikx i och σ 2 i och provet medel beställning, så attx ( He, Chick, och Chen (2006) föreslog en OCBA variation, OCBA LL, som står för den förväntade alternativkostnaden, och visade att den ursprungliga OCBA förfarande, den nya OCBA LL och LL presterar bättre än några andra förfaranden i flera empiriska tester. I analogi med EAPCS i ovan är set Proceduren OCBA LL en variant av OCBA som fördelar replikationer till system som maximerar förbättringen av förväntade alternativkostnader (linjär förlust), EOC Bonf − EEOCS i, i steg 4b. Alla ändringar av OCBA ovan genomfördes som fullständigt sekventiella förfaranden här (q = 1 och τ = 1). Den OCBA heuristics i litteraturen hittills antar normalt distribuerade prover. Trots detta behövs endast den asymmetriska normaliteten i den bakre fördelningen av medelvärdet för att rättfärdiga OCBA-heurismen. I själva verket konvergerar senare fördelningar till en normal fördelning enligt relativt allmänna urvalsantaganden (Bernardo och Smith 1994, Theorem 5.14). Detta resultat kan användas för att asymptotiskt motivera OCBA-heurismen även enligt dessa relativt allmänna provtagningsantaganden, inte bara för normalt fördelade prover. (2005) rapporterar preliminära resultat för andra anslag och stoppregler som visade sig vara mindre effektiva än de som behandlas i detta dokument. Vi testade också effekten av att inkludera tidigare information om medel och avvikelser i VIP och OCBA konfigurationer, som diskuteras i §3 nedan. Vid varje iteration är tiden för att beräkna en tilldelning proportionell mot kvadraten på antalet icke-eliminerade system för KN++, till k 2 i värsta fall för VIP (till k om τ är stor) och till k för OCBA. För de flesta praktiska tillämpningar är tiden att beräkna tilldelningen mycket kortare än varaktigheten för en typisk simulering. Varje förfarande kan fördela flera prover åt gången om så inte är fallet. Förfarandena har lägre effektivitetskurvor. Effektivitetskurvor ignorerar frågan om hur man ställer in en procedur parametrar för att uppnå en viss PCS IZ eller EOC IZ. Som en praktisk fråga förväntar man sig en viss avvikelse mellan ett stoppregelmål, säger PCS ≥ 1 − α * > 1/ k, och den faktiska PCS IZ uppnås. Avvikelsen mellan önskad och realiserad prestanda mäts med målkurvor som ritar (log α *, log( 1 − PCS IZ )) för PCS-baserade mål 1 − α *, och (log β *, log EOC IZ ) för alternativ kostnadsmål β *. Förfaranden vars målkurvor följer diagonalen y = x över en rad problem är "kontrollerbara" genom att det är möjligt att ställa in parametervärden för att få en önskad nivå av korrekt urval. "Konservativa" förfaranden har målkurvor som tenderar att vara under y = x, och sägs "överleverera" eftersom den frekventistiska åtgärden för korrekt urval överskrider det önskade målet. Ett förfarande som är konservativt kan ha en önskvärd peakist garanti för PCS IZ, men stark överleverans resulterar i överdriven provtagning. Ett kontrollerbart förfarande kan inte ha någon PCS IZ-garanti om målkurvan varierar något över och under diagonalen. Vi säger att ett förfarande är mycket effektivt, om det är både effektivt och kontrollerbart. Målkurvor kan också bedöma om Bayesian PCS mål karta väl till PCS IZ eller inte ( VIP och OCBA ännu inte hävdar PCS IZ garantier). Ett stort antal problemfall bedömde styrkan och svagheterna i varje förfarande. Vi utforskade bokstavligen tusentals kombinationer av antalet system, den första etappens provtagningsstorlek, specifika konfigurationer, tilldelningar, stoppregler och deras parametrar, prestandamått etc. Vi testade slumpmässiga problemfall och möjligheten att använda tidigare information om de okända medlen. Designinställningar valdes för att undersöka första ordningens effekter av stoppreglerna och varje parameter för konfigurationer och tilldelningar, men inte interaktioner. Bilaga D innehåller ytterligare uppgifter om försökens struktur. I en glidningskonfiguration (SC) är medlet för alla system utom de bästa knutna för näst bästa. En SC identifieras genom antalet system, skillnaden i medel för de bästa och varandra system, och varianserna för varje system. Parametrarna δ, ρ beskriver de konfigurationer vi testade. Om ρ = 1, då alla system har samma varians, och ρ < 1 innebär att det bästa systemet har en mindre varians. Vi sätter σ 2 1 = 2ρ/(1 + ρ) så att Var[X 1j − X ij ] är konstant för alla ρ > 0. I en monoton minskande medel (MDM) konfiguration, medlen för alla system är jämnt fördelade så att vissa system är ganska lite underlägsen de bästa. Parametrarna δ och ρ beskriver de konfigurationer som vi testade. Utgångarna var gemensamt oberoende, och vi satte σ 2 1 som i SC. Värden för ρ < 1 innebär att bättre system har en mindre varians. För tillräckligt små ρ är sannolikheten för att det värsta systemet har det bästa observerade medelvärdet högre än sannolikheten för det näst bästa systemet. För SC och MDM konfigurationer testade vi hundratals, men inte alla, av följande kombinationer: Bedömningar av urvalsförfaranden i litteraturen brukar tillämpa förfaranden för en specifik uppsättning av strukturerade problem, som ovan. Sådana strukturerade problematiker är atypiska i praktiken. Ett problem som man finner i praktiken kan betraktas som "slump". Slumpmässiga problem instans (RPI) konfigurationer prov problemet instans χ innan du tillämpar ett urvalsförfarande. I varje RPI konfiguration nedan, utdata är gemensamt oberoende,.., k, beroende på problemet instans. Det finns ingen objektivt bästa fördelning för urvalsproblemfall, så vi gör godtyckliga val och identifierar fördomarna hos var och en. Den första RPI-konfigurationen (RPI1) tar prov χ från den normala inversa gammafamiljen. En slumpmässig χ genereras genom provtagning av σ 2 i oberoende, sedan provtagning den ökande η gör medlen mer likartade och därmed problemet svårare. Vi ställer in c = b − 1 > 0 för att standardisera medelvärdet av variansen att vara 1, och ställa in μ 0 = 0. Öka b minskar skillnaden mellan varianserna. Vi har testat många kombinationer av k {2, 5, 10, 20}, η {0.354, 0.5,...., 4} (förhållandet mellan 2 och 2, 5, 100} och n 0 (4, 6, 10}. Härledning av VIP- och OCBA-förfaranden antar η → 0. RPI1-konfigurationen gör det möjligt att testa om VIP- och OCBA-förfarandena kan dra nytta av att använda provtagningsfördelningen av χ i (10) för att beskriva tidigare bedömning av varje systems medel och varianser. § 1 tillåter inte detta direkt, men den matematiska utvecklingen tillhandahölls på annat håll 1998, 2001a). Sammanfattningsvis, den bakre fördelningen av W i, med tanke på den tidigare fördelningen i (10) och data, och η = η + n i. För att tillämpa detta resultat på alla VIP-förfaranden i §1.3, ersätta hex i med μ 0 ; ersätta varje σ 2 i med c / b ; och ersätta varje n i med η, utom i graderna av frihet, där n i − 1 bör ersättas med 2b. Hittills har OCBA alltid antagit en icke-informativ tidigare distribution. Icke desto mindre tillåter analoga substitutioner OCBA och OCBA LL att använda andra tidigare distributioner för okända metoder och varianser. En andra RPI-konfiguration (RPI2) prover problematiskt fall från en annan distribution än normalinverterad gamma för att minska eventuella potentiella fördelar för VIP och OCBA metoder. Vi valde RPI2 till oberoende prov från: SC gynnar IZ-förfaranden i det att IZ-förfaranden ger en minimal målprestanda med avseende på en minst gynnsam konfiguration (LFC). För många IZ-procedurer är SC med δ = δ * en LFC. Även om LFC i KN familjen inte har bevisats, empiriska studier av KN - typ förfaranden ofta bedöma denna konfiguration. RPI1 (η nära 0) gynnar VIP och OCBA, eftersom härledningen av dessa förfaranden förutsätter tidigare sannolikhetsmodeller som liknar provtagningsfördelningen av problemfallen. MDM, RPI1 (större η) och RPI2-konfigurationer verkar inte gynna något förfarande i detta dokument. Det är omöjligt att presentera alla de numeriska resultaten i en kort artikel. I detta avsnitt sammanfattas de viktigaste kvalitativa observationerna från analysen. Bilaga A ger fler numeriska resultat. I bilaga C beskrivs genomförandet. I följande analys beräknades varje punkt som definierar varje effektivitets- och målkurva (en för varje kombination av problemfall, förfarande och val av parametrar) med 10 5 prov (tillämpning av ett förfarande). För att skärpa kontrasterna mellan olika förfaranden användes gemensamma slumptal (CRN) för att generera gemensamma RPI-konfigurationer och för att synkronisera de prov som observerats över procedurer. Proverna var oberoende inom varje förfarande. I noteringen KN++ δ * anges valet av δ * för KN++. Som standard n 0 = 6 om inte annat anges.. Dessutom noterar vi att effektivitetskurvorna för KN++ och Equal(S) är rakare än för PCS- eller EOC-stoppreglerna. Dessa Bayesian stopp regler orsakar en liten krökning som är kopplad till valet av n 0 (en mindre n 0 ger mer krökning, mer på n 0 nedan). För en högre PICS är Equal( EOC Bonf ) effektivare än KN++, medan för en mycket låg PICS, KN++ slår Equal( EOC Bonf ). En målplott kan visa hur mycket ett förfarande avviker från det önskade målet (överleverans och underleverans). SC-konfigurationen för målplotten i figur 2 är samma konfiguration som användes för effektivitetsplotten i figur 1. Mållinjen för PCS-baserade stoppregeln är under diagonalen, vilket innebär att den erhållna PICS IZ är mindre än det önskade målet α *. Till exempel för en önskad α * = 0,02, en PICS IZ = 0,005 erhålls med Equal(PICS IZ ). Eftersom δ * ökar för PGS IZ * stoppregeln, skiftar målkurvan uppåt (målet uppnås inte för δ * > 0,5). Målet tomt för KN++ 0.5 följer diagonalen brunnen, vilket innebär att den erhållna PICS IZ matchar önskat mål α * väl för denna konfiguration (detta observerades för KN++ med alla SC konfigurationer som hade k ≥ 2 och δ * = δ). Eftersom δ * minskas lutar linjen nedåt, vilket innebär att KN++ blir extremt konservativ. Konsekvenserna av konservativitet kan härledas genom att titta på effektivitet och mål tomter tillsammans. Exempelvis är x-axeln för målytan KN++ 0,3 0,025, vilket innebär att ett mål på α * = 0,025 resulterade i en faktisk PICS IZ = 0,001 (överlever PCS). I figur 1, Det genomsnittliga antalet replikeringar för. Detta visar att ett förfarande med bra effektivitetskurvor kan kräva mycket mer provtagning än vad som krävs för att uppnå en given bevisnivå för korrekt urval, om detta förfarande är konservativt. Å andra sidan riskerar PGS stoppregeln att leverera en PICS IZ högre än önskat (för Equal(PGS Slep,0.5 ), PCS målet inte uppnås). Ett annat sätt att tolka effektivitet och målkurvor är att notera att effektivitetskurvan för KN++ 0,7 i figur 1 slutar nära nivån för PICS IZ = 0,009. Det är symptomatiskt för en underleverans av PICS IZ, som vi testade värden på α * ner till 0,001. Figur 2 bekräftar denna underleverans, eftersom målytan för KN++ 0.7 i figur 2 är ovanför diagonalen. Detta särskilda fall av underleverans är helt förenligt med IZ-metoden, eftersom parametern för likgiltighetszon överstiger skillnaden i medelvärde (δ * = 0,7 > δ = 0,5). Figur 4 visar hur olika urvalstilldelningar jämför för en given stoppregel (här, för EOC Bonf ). Lika presterar mest effektivt (det är optimalt för just denna inställning), med 0-1 och OCBA följande. LL utför identiskt med 0-1 för detta problem (inte visat, för att undvika röran siffran). En liknande företräden observeras för PCS Slep och PGS Slep,δ * stopp regler. För S stoppa regeln, alla VIP och OCBA tilldelningar utför ungefär samma som Equal (inte visas, för att undvika skräp). Med adaptiva stoppregler (EOC Bonf, PCS Slep, PGS Slep,δ * ), ett stort antal initiala prover per system, n 0, begränsar möjligheten att göra ett tidigt urval, men en liten n 0 ökar sannolikheten för dåliga uppskattningar av utdata medelvärde och varians. För den bakre marginella fördelningen av de okända medlen för att ha en ändlig varians, kräver vi n 0 ≥ 4. Figur 5 visar att ökningen n 0 i förfarande Equal (EOC Bonf ) ökar antalet prover som krävs för att nå relativt låga bevisnivåer för korrekt urval, men ökar effektiviteten i förfarandet för att nå höga bevisnivåer för korrekt urval. Skillnaderna i kurvorna tillskrivs huvudsakligen produktionen som gör att provtagningen upphör efter mycket få prover på grund av vilseledande låga varianser och PICS-uppskattningar. OCBA- och VIP-förfarandena beter sig på samma sätt som Equal i detta avseende för varje stoppregel. Med den icke adaptiva stoppregeln (S), verkar de okänsliga för n 0. Figur 5 visar också att KN++ är okänsligt för n 0, en observation som hölls i allmänhet. EOC Bonf-stoppregeln är känslig för skillnaden mellan de två systemen, δ (se figur 6 ). Den underlever EOC IZ något för små δ, och betydligt överleveranser för stora δ. Totalt sett, för SC med k = 2 och vanliga varianser (ρ = 1), Equal( EOC Bonf ) och KN++ är de mest effektiva. Inget förfarande är fullt kontrollerbart för SC, k = 2. Online Companion hävdar också att vi inte kunde hitta ett allmänt sätt att "trick" förfarandet genom att sätta δ * och α * till icke-traditionella värden för att uppnå vissa faktiskt önskad nivå PCS IZ. Kommentarerna hittills förutsätter en gemensam avvikelse (ρ = 1). När ρ = 1, är lika allokering inte optimal, och fler prover bör distribueras till systemet med en högre varians. Vi noterade att KN++ och Equal blir mindre effektiva än de Bayesianska anslagen eftersom ρ ändras från 1 (Online Appendix). SC med k > 2 system. Det är inte optimalt att prova varje system lika ofta om k > 2, så KN++ och Equal är inte längre optimala i denna inställning, även om varianserna är lika. En jämförelse av effektiviteten hos de olika tilldelningsreglerna, för EOC Bonf stoppregeln och k = 10 system, illustreras i figur 7. Inställningarna är jämförbara med figur 4, som hade k = 2 system. Medan Equal är optimal för k = 2, det utför värsta för k = 10. De mest effektiva tilldelningarna är OCBA LL och OCBA, sedan LL nära bakom. KN++ är mycket mindre effektivt än OCBA LL, OCBA och LL (var och en med EOC Bonf som stoppregel). Skillnaden mellan de Bayesianska förfarandenas effektivitet i förhållande till Equal- och KN++-förfarandena ökar med k (testade k = 2, 5, 10, 20), förmodligen eftersom de kan fördela fler prover till det mest relevanta (bästa) systemet från början. Detta påståendes kvalitativa karaktär ändras inte eftersom δ och ρ är individuellt differentierade från de värden som används för tomten. Andra observationer för k = 2 som också håller för k = 5, 10 och 20 inkluderar: företrädet för effektiviteten av stopp regler (EOC Bonf slår PCS Slep som slår S); vikten av en tillräckligt stor n 0 för VIP- och OCBA förfaranden; känsligheten för KN++ till δ * men inte n 0. Monotondecreasing innebär att lägga till komplikationen att EOC IZ inte är proportionell mot PCS IZ när k > 2. Dock är VIP- och OCBA-tilldelningarna med den nya stoppregeln för EOC Bonf effektivare än KN++, på grund av EOC Bonfs flexibilitet att sluta när, och endast när, tillräckliga bevis för korrekt urval erhålls. För varje MDM konfiguration testad, LL (EOC Bonf ) och OCBA LL ( EOC Bonf ) är inte statistiskt olika för effektivitet, och de var de mest effektiva tilldelningar, som i figur 8. Dessa två förfaranden utför också ungefär samma i målytor för de flesta konfigurationer. OCBA δ * och 0-1 utfördes på liknande sätt som när EOC Bonf användes. Med S stopp regeln, dock 0-1 presterade dåligt. Figur 9 visar att målprestandan för KN++ återigen är mycket känslig för parametern δ *. Medan KN++ följer målet ganska bra för SC när δ * = δ, överlever det betydligt även för denna inställning för MDM-konfigurationen. Förfarande OCBA LL (PGS Slep,δ * ) är också känslig för parametern δ *, och misslyckas med att få den önskade PICS IZ för δ * > 0,2 även om δ = 0,5. Medan målkurvorna för OCBA LL (PGS Slep,δ * ) skiftar ungefär parallellt med diagonalen, ändrar målkurvorna för KN++ lutningen. Detta innebär att KN++ blir mer konservativ eftersom mer extrema bevisnivåer (α * ) söks, om δ * < δ, men OCBA LL (PGS Slep,δ * ) tenderar att vara konservativ med samma mängd, på en loggskala. På det hela taget är, liksom för SC, KN++ och PGS Slep,δ * mycket känsliga för δ * och därmed inte kontrollerbara i den mening som anges ovan. Prover för alla förfaranden, men i synnerhet försämrar effektiviteten hos KN++ (i längst till höger om effektivitetsytan) i förhållande till PCS Sleep-förfarandena. KN++ överlever också mer än vissa andra förfaranden (höger panel). Anledningen är att KN++ prover alla icke-eliminerade system, även de vars medel har uppskattats med hög precision, tills ett system väljs som bäst. Målkurvorna för alla förfaranden är relativt okänsliga för ρ (målkurvan beror främst på skillnaden mellan de två system som konkurrerar mest bäst, så effektiviteten påverkas mer än målkurvan). För alla SC- och MDM-konfigurationer och nästan alla provtagningsförfaranden uppvisar effektivitetskurvorna en viss krökning. Vi hittade flera förklaringar för böjda effektivitetslinjer för OCBA och VIP-procedurer. En, en liten n 0 leder till dåliga inledande uppskattningar av variansen, med en potential för antingen a) tidig stopp om PICS är starkt underskattad, eller b) ett massivt antal prov som krävs om en extremt låg PICS eller EOC önskas, initiala uppskattningar tyder på att det bästa systemet är värst, och förfarandet sedan försöker att skilja mellan likvärdiga system i SC. Båda fallen lindras genom att öka n 0. Två, testbädden drev procedurerna till nya gränser för numerisk stabilitet. Preliminära effektivitetsytor för vissa förfaranden var något mer böjda än de som presenteras här. Bilaga C beskriver beräkningstekniker som vi använde för att minska denna krökning. Vi tror att denna orsak eliminerades. Tre exponentiella konvergensresultat för ordinala jämförelser är asymptotiska och endast tillgängliga för vissa förfaranden, så raka linjer bör inte förväntas på alla nivåer av PICS IZ och EOC IZ för alla förfaranden. Slumpmässiga problematiker 1. För alla RPI-konfigurationer generaliseras mätvärdena för bevisen för korrekt urval i effektivitets- och målytorna till att vara förväntningar på provtagningsfördelningen av problemfallen, t.ex. PCS IZ = E χ [PCS IZ (χ)]. Man måste välja δ * > 0 för PGS Slep,δ * stoppregeln eftersom det finns en rimlig sannolikhet att de två bästa systemen har mycket liknande medel, i vilket fall δ * = 0 resulterar i överdriven provtagning (så δ * = 0 ska undvikas i praktiken). Av samma anledning mäter vi effektivitet med sannolikheten för ett dåligt urval, PBS IZ,δ *, istället för PICS IZ, i detta avsnitt. Ett dåligt urval har ett medelvärde som är minst δ * värre än medelvärdet för det bästa systemet. Procedurer som använder en likgiltig zonparameter δ * kan möjligen få sin effektivitet mätt med en PGS δ * * * som använder en likgiltig zonvärde δ * * = δ *, men filosofiskt sett verkar detta vara inkonsekvent. Vi använder därför samma parameter för "matchning" av likgiltighetszon δ * för både tilldelningar och empiriska mätningar, om inte annat anges (se även figur 30 i Online Companion). För i princip alla RPI-inställningar är LL, OCBA LL och OCBA δ * fördelningsregler mer eller mindre lika effektiva. Fördelningen 0-1 är i allmänhet mindre effektiv (den härleds med mer approximationer, och avfallsprover som försöker skilja mellan två mycket nära konkurrenter i RPI) och Equal är värst. Figur 11 visar denna punkt för S-stoppregeln. Även om skillnaden i effektivitet mellan tilldelningsreglerna är ganska liten för RPI, varierar resultatet av stoppreglerna kraftigt. I figur 12 jämförs olika stoppregler i kombination med Equal allokering baserad på PGS IZ * effektivitet. Det är uppenbart att PGS Slep,δ * stoppregeln med en matchande δ * är den mest effektiva (och målkurvan är också bra i denna inställning). För EOC IZ effektivitet finns inställningar för δ * så att PGS Slep,δ * är effektivare än EOC Bonf stoppregeln, se figur 13 (vänster panel (den högra panelen visar en brist på kontrollbarhet om man skulle försöka styra EOC IZ genom att ställa in β * = δ * α *, vilket är den förväntade alternativkostnaden för LFC när det gäller PCS för ett antal IZ förfaranden). Flera effektivitetskurvor, särskilt Equal(S) i figur 12 och figur 13, är mer böjda för RPI1 resultat än för SC och MDM resultat. Att krökning beror till stor del på ett mycket stort antal prover för några mycket "hårda" konfigurationer (de bästa två systemen har mycket nära medel och stora varianser). För RPI1-konfigurationer, LL, OCBA LL och OCBA δ *, var och en med PGS Slep,δ * stoppregel, typiskt bättre än KN++ för effektivitet och kontrollbarhet. Figur 14 illustrerar denna observation genom att beskriva effekten av olika δ * och α * på det antal prover som krävs av KN++ och OCBA LL (PGS Slep,δ * ), och förmågan att leverera önskat PGS (den δ * parameter i förfarandet används också för att mäta PGS IZ,δ * ). För denna siffra, med k = 50, minskades antalet makroreplikationer till 10 4 för att hålla simuleringstiden rimlig. Den vänstra panelen visar att OCBA LL (PGS Slep,δ * ) följer målet mycket bättre än KN++ (som knappt syns längst ner till höger om figuren). Den högra panelen visar att straffet för konservativitet är en betydligt högre provtagningsinsats för en given önskad α *. Till exempel för α * = 0,01 och δ * = 0. Figur 15 : Inverkan av η på effektivitet och mål för PCS-baserade förfaranden (RPI1, k = 5, b = 100). Som kan ses i figur 15, känsligheten med avseende på η i RPI konfigurationer är mycket mindre än känsligheten med avseende på δ observeras för SC och MDM konfigurationer i figur 6. Observera att skillnaden mellan det bästa och det näst bästa systemet är proportionell mot η −2. För effektivitet (vänster panel), Om förkunskaper om fördelningen av medel och varianser finns tillgängliga, kan detta integreras i Bayesian förfaranden, som beskrivs i §3. Fördelen med att göra detta framgår om möjligt av figur 16 (vänster panel). Den översta raden visar effektiviteten i standarden Equal allokering med budget (S) stoppregeln. Detta kan förbättras stegvis genom att övergå till en flexibel tilldelning (OCBA LL (S)), sedan använda en adaptiv stoppregel (OCBA LL (EOC Bonf ) ), och slutligen använda tidigare information (OCBA tidigare LL (EOC tidigare Bonf ) ). Dessa förändringar minskar det genomsnittliga antalet prover som krävs för att uppnå en förlust på 0,01 från 291 för Equal (S) till 164 för OCBA LL (S), sedan till 94 för OCBA LL (EOC Bonf ), och slutligen till 79 för OCBA före LL (EOC före Bonf ). Kontrollbarheten påverkas endast något genom att använda tidigare information i detta test (höger panel). Slumpmässiga problematiker 2. RPI2-konfigurationen tar stickprov på slumpmässiga problemfall med en distribution som inte motsvarar de underliggande antagandena om härledning av VIP- och OCBA-förfaranden. Ändå fungerar procedur LL och OCBA LL igen nästan identiskt för effektivitet och kontrollbarhet, så endast den senare visas i diagram. Figur 16: Effekt av allokering, stoppregel och förhandsinformation (RPI1, k = 5, η = 1, b = 100). Det är därför inte förvånande att resultaten är mycket likartade. Bilaga A.6 innehåller fler diagram. På det hela taget fungerar OCBA LL och LL mycket bra för RPI2 även om problemfallen inte har den normala inverterade gammadistributionen som är implicit i deras härledning. En liten försämring av effektiviteten i förhållande till KN++ kan förväntas om det finns flera mycket bra system, men kontrollmöjligheten kvarstår med PGS Slep,δ *. Procedur 0-1 är mindre effektiv och inte mer kontrollerbar. Valet av urvalsförfarande och dess parametrar kan ha en enorm effekt på den ansträngning som används för att välja det bästa systemet, och sannolikheten för att fatta ett korrekt beslut. Den nya experimentuppställningen (inklusive slumpmässiga problemfall) och mätdisplayer (effektivitets- och målkurvor i motsats till tabeller) visade sig vara användbar för att identifiera styrkor och svagheter i både befintliga och nya förfaranden. Styrkar av KN++ inkluderar en låg känslighet för antalet första steg prover (n 0 ), och dess naturliga förmåga att redogöra för korrelerad utgång. Det är den enda metod som testas här med en bevisad asymptotisk nedre gräns för PCS IZ ≥ 1 − α * > 1/k. Kostnaden för att föredra en lägre gräns för PCS är potentialen för mycket överdriven provtagning. Även om vi bara testade måttligt antal system, KN++ verkar förlora effektivitet i förhållande till Bayesian förfaranden som antalet system ökar. Vi rekommenderar att de Bayesianska tilldelningsförfarandena kombineras med en adaptiv stoppregel för att avsevärt förbättra effektiviteten. Oberoende av stoppregeln är de förlustbaserade tilldelningarna LL och OCBA LL bland de mest effektiva tilldelningarna. Online Companion föreslår teoretiska skäl till varför OCBA LL och LL presterar så på samma sätt. Den mest effektiva och kontrollerbara stoppregeln beror på önskat mål (EOC Bonf eller PGS Slep,δ * ). Den starka effektiviteten är relativt robust mot olika konfigurationer och styrbarheten är relativt robust för RPI. Dessa förfaranden gör det också möjligt att införa förhandsinformation om problemfall när sådana finns tillgängliga. Andra styrkor inkluderar förmågan (i) att fördela prover för att optimera den totala CPU-tiden även om CPU-tiderna för varje system är olika (Chick och Inoue 2001a, och bilaga B), (ii) att köra med en tidsbegränsning med S stoppregeln, och (iii) att köra som en två-stegs procedur om det behövs (t.ex., EOC Bonf stoppregeln kan anpassas till två steg genom att hitta en andra-stegs provtagning budget som uppnår en önskad förutsagd EOC Bonf ). Svaga punkter i dessa förfaranden är beroende av det ursprungliga antalet prover för varje system, n 0 (vi rekommenderar n 0 ≥ 6), och potentialen för en liten försämring i prestanda om det finns många system som är nära det bästa. Procedures Equal och 0-1 rekommenderas inte för allmän användning. Vi bedömde inte utdata från simuleringar i steady-state. KN++ använder batching för att uppskatta varianser, en standardteknik för hantering av autokorrelering från sådana simuleringar, men kan ta observationer en i taget. Vi förstår inte varför batching kan påverka de olika Bayesianska förfarandena på olika sätt. Vi väljer därför OCBA δ * (PGS Slep,δ * ), med δ * > 0, för ytterligare arbete för att integrera urvalsförfaranden i diskret optimering via simuleringsmiljöer där PGS är av intresse. De tydliga vinnarna för tillämpningar där simuleringsutgången representerar ekonomiskt värde är LL(EOC Bonf ) och OCBA LL (EOC Bonf ). Erkännande. Vi tackar Seong-hee Kim och Demet Batur för mycket hjälpsamma diskussioner om KN++.
Det finns många urvalsförfaranden och vi hänvisar till REF för en bra granskning av relaterade arbeten i detta ämne.
Selecting a Selection Procedure
{'venue': 'Management Science', 'journal': 'Management Science', 'mag_field_of_study': ['Mathematics', 'Computer Science']}