Vi introducerar en inlärningsram som kombinerar delar av den välkända PAC och felbundna modeller. KWIK-ramen (vet vad den vet) utformades särskilt för dess användbarhet i inlärningsmiljöer där aktiv utforskning kan påverka de utbildningsexempel som eleven exponeras för, vilket är sant när det gäller att förstärka inlärnings- och inlärningsproblem. Vi katalogiserar flera KWIK-lärbara klasser samt öppna problem, och demonstrerar deras tillämpningar i erfarenhetseffektivt förstärkande lärande. Kakade m.fl. 2003; Strehl m.fl. 2006a Strehl m.fl. , 2007 ligger tanken på att skilja mellan fall som har lärts med tillräcklig noggrannhet och de vars resultat fortfarande är okända. Rmax algoritm (Brafman och Tennenholtz 2002), till exempel uppskattar övergångssannolikhet för varje stat-action-nästa-state trippel av en Markov beslutsprocess. Uppskattningarna görs separat, som licensieras av Markov egendom, och noggrannheten i uppskattningen begränsas med Hoeffding gränser. Algoritmen skiljer uttryckligen mellan sannolikheter som har uppskattats korrekt (kända) och de för vilka mer erfarenhet kommer att behövas (okänd). Genom att uppmuntra agenten att samla mer erfarenhet i de okända staterna, Rmax kan garantera ett polynom bundna på antalet tidssteg där det har en icke-nära-optimal politik (Kakade 2003). I den här artikeln gör vi tydligt de egenskaper som är tillräckliga för att en inlärningsalgoritm ska kunna användas i effektiva prospekteringsalgoritmer som Rmax. Ungefär, inlärningsalgoritmen behöver bara göra exakta förutsägelser, även om det kan välja bort förutsägelser genom att säga "Jag vet inte" (.). Det måste dock finnas ett (polynom) som är bundet till antalet gånger algoritmen kan svara. Vi kallar en sådan inlärningsalgoritm KWIK ("vet vad den vet"). Avsnitt 2 ger ett motiverande exempel och skisserar möjliga användningsområden för KWIK-algoritmer. Avsnitt 3 definierar KWIK-villkoren mer exakt och relaterar dem till etablerade modeller från beräkningsteorin. Avsnitt 4-6 översikt en uppsättning hypotesklasser för vilka KWIK algoritmer kan skapas. I avsnitt 7 beskrivs ett antal tillämpningar av KWIK inom förstärkningslärande, med fokus på att förena befintliga resultat samt att tillhandahålla en ny algoritm för factored-state Markovs beslutsprocesser. Avsnitt 8 avslutar dokumentet och tar upp några viktiga öppna problem. Den forskning som beskrivs i detta dokument bygger vidare på och förlänger det arbete som presenterades vid den tjugofemte internationella konferensen om maskininlärning ) och i förväg i Neurala informationsbehandlingssystem 20 (Strehl och Littman 2008). Betrakta den enkla navigeringsuppgiften i bild. 1................................................................ Det finns en uppsättning noder anslutna med kanter, med noden till vänster som källan och den mörka till höger som diskbänken. Varje kant i grafen är associerad med en binär kostnadsvektor av dimension n = 3, som anges i figuren. Kostnaden för att traversera en kant är punktprodukten av dess kostnadsvektor med en fast viktvektor (= [1, 2, 0]. Anta att det inte är känt för agenten, men grafen topologi och alla kostnader vektorer är. I varje avsnitt, agenten startar från källan och rör sig längs någon väg till handfatet. Varje gång den korsar en kant, märker agenten sin verkliga kostnad. Kostnaden för en stig från källan till diskbänken är summan av kantkostnader längs stigen. När handfatet har nåtts börjar nästa avsnitt. Genom att navigera i grafen försöker agenten identifiera en optimal väg med minimal kostnad och samtidigt ta en suboptimal väg i så få avsnitt som möjligt. Det finns 3 olika vägar i detta exempel. Med tanke på värdet ovan, den övre har en kostnad på 12, den mellersta 13, och den nedre 15. En enkel metod för denna uppgift är för agenten att ta på sig kantkostnader är enhetliga och gå den kortaste (medel) vägen för att samla in data. Det skulle samla 4 exempel på [1, 1, 1] → 3 och ett av [1, 0, 0] → 1. Standard regressionsalgoritmer skulle kunna använda denna datauppsättning för att hitta en som passar denna data perfekt. Det kan dock finnas flera s som stöds av tillgängliga data. Här är den minsta square-lösningen, som är = [1, 1, 1] ett naturligt val. Den inlärda viktvektorn kan sedan användas för att beräkna kostnaderna för de tre stigarna: 14 för toppen, 13 för mitten, 14 för botten. Med hjälp av dessa beräkningar skulle en agent fortsätta att ta den mellersta vägen för alltid, aldrig inse att det inte är optimalt. I kontrast, överväga en lärande algoritm som "vet vad den vet". Istället för att skapa en ungefärlig vikt vektor, det skäl om huruvida kostnaderna för varje kant kan erhållas från tillgängliga data. Den mellersta vägen, eftersom alla dess kantkostnader har observerats, är definitivt 13. Den sista kanten av den nedre banan har kostnad vektor [0, 0, 0], så dess kostnad måste vara noll, men den näst sista kanten av denna väg har kostnad vektor [0, 1, 1]. Denna vektor är en linjär kombination av de två observerade kostnadsvektorer, så, oberoende av  på, dess kostnad är som är bara 3 − 1 = 2. På så sätt vet agenten att den nedersta vägens kostnad är 14-tråkig än den mittersta vägen. Vektorn [0, 0, 1] på den översta banan är linjärt oberoende av de observerade kostnadsvektorerna, så dess kostnad är oavgjord. Vi vet att vi inte vet. En säker sak att anta preliminärt är att kostnaden är noll-den minsta möjliga kostnaden, uppmuntra agenten att prova den översta vägen i den andra episoden. Nu observerar den [0, 0, 1] → 0, vilket gör det möjligt att lösa för  på exakt ( ska = [1, 2, 0]) och exakt förutsäga kostnaden för någon vektor (eftersom träningsdata spänner n ). Det vet nu att det vet alla kostnader, och kan tryggt ta den optimala (topp) vägen. I allmänhet, någon algoritm som gissar en vikt vektor kan aldrig hitta den optimala vägen. En algoritm som använder linjär algebra för att särskilja kända från okända kostnader kommer antingen att ta en optimal rutt eller upptäcka kostnaden för en linjärt oberoende kostnadsvektor på varje episod. Således kan den aldrig välja suboptimala vägar mer än n gånger. Formella diskussioner om att lära sig bullerfria linjära funktioner tillhandahålls i Sect. 4.2. De åtgärder som föreskrivs i denna förordning är förenliga med yttrandet från ständiga kommittén för växter, djur, livsmedel och foder. I kontrast, en agent som inte generaliserar, men besöker varje kant för att lära sig sin kostnad, kommer att kräva m episoder för att lära sig optimalt beteende, i värsta fall, där m är antalet kanter i grafen. Detta exempel visar hur en kombination av generalisering med uttryckligen framstående kända och okända områden kan leda till effektiva och optimala beslutsalgoritmer. Motivationen för att studera KWIK inlärning växte ur dess användning i sekventiella beslutsproblem som denna. Andra maskininlärningsproblem skulle dock kunna dra nytta av detta perspektiv och av utvecklingen av effektiva algoritmer. Till exempel, åtgärdsval i banditproblem (Fong 1995a) och associativa banditproblem (Strehl et al. 2006c ) (bandit problem med indata) kan båda åtgärdas i KWIK-inställningen genom att välja den bättre armen när båda utbetalningar är kända och en okänd arm annars. KWIK kan också vara en användbar ram för att studera aktivt lärande (Cohn et al. 1994 ) och anomalidetektering (Lane och Brodley 2003 ), vilka båda är maskininlärningsproblem som kräver en viss grad av resonemang om huruvida en nyligen presenterad insats är förutsägbar från tidigare exempel. När misstag är dyra, som i bruksbaserad data mining (Weiss och Tian 2006) eller lära sig robust kontroll (Bagnell et al. 2001), med tydliga förutsägelser om säkerhet kan vara mycket användbart för beslutsfattande. Två parter är involverade i ett inlärningsprotokoll för KWIK. Inläraren driver en inlärningsalgoritm och gör förutsägelser; medan miljön, som utgör ett exempel på ett KWIK inlärningsproblem, ger eleven indata och observationer. Protokollet för en KWIK "kör" är följande: - Hypotesen klass H, noggrannhet parameter, och konfidens parameter δ är kända för både eleven och miljön. -Miljön väljer en målfunktion h * motsträvigt. -Miljön väljer indata x t  på X motsträvigt och informerar eleven. Målvärdet y t = h * (x t ) är okänt för eleven. -Inläraren förutspår en utdata till Y-y-y-y-y-p-p-p-p-p-p-p-p-p-p-p-p-p-p-p-p-p-p-p-p-p-p-p-p-p-p-p-p-p-p-p-p-p-p-p-p-p-p-p-p-p-p-p-p-p-p-p-p-p-p-p-p-p-p-p-p-p-p-p-p-p-p-p-p-p-p-p-p-p-p-p-p-p-p-p-p-p-p-p-p-p-p-p-p-p-p-p-p-p-p-p-p-p-p-p-p-p-p-p-p-p-p-p-p-p-p-p-p-p-p-p-p-p-p-p-p-p-p. Vi kallar t giltigt om till =  på. -Om att t =..., läraren gör en observation z t  på Z av utmatningen. I det deterministiska fallet är z t = y t, men i allmänhet är förhållandet mellan z t och y t problemspecifikt. Till exempel z t = 1 med sannolikhet y t och 0 med sannolikhet 1 − y t i Bernoulli-fallet, och z t = y t + η t för en slumpmässig nollmedelsvariabel η t i det additiva bullerfallet. Definition 1 Låt H  till (X → Y) vara en hypotes klass. Vi säger att H är KWIK-lärbar om det finns en algoritm A med följande egenskap: för alla 0 <, δ < 1, är följande två krav uppfyllda med sannolikhet minst 1 − δ i en hel körning av A enligt KWIK-protokollet ovan: Vi kallar A en KWIK-algoritm och B(, δ, dim(H)) en KWIK bundet av A. Vi kommer också att använda B(, δ) för enkelhet, om det inte finns någon tvetydighet. Dessutom är H effektivt KWIK-learnable om per-timestep tid komplexiteten av A är polynomial i 1/, 1/δ, och dim(H). 1 Här kan det finnas en icke-negativt värderad funktion som mäter diskrepansen eller avståndet mellan y och y. För att förenkla noteringen har vi använt operatören "−" i vid bemärkelse och det är inte begränsat till algebraisk subtraktion. Till exempel: (i) i den speciella situationen för Y  till, som anses i många fall av detta papper,  till ·  till förstås som det absoluta värdet; (ii) när Y  på k,  på · kan betyda vektornorm; och (iii) när y och på är sannolikhetsfördelningar,  till · kan användas för total variation. Mach Learn (2011) 82: 399-443 403 Bild. 2 Förhållandet mellan KWIK och en variant av PAC- och MB-ramverken när det gäller hur etiketter tillhandahålls för indata Några anteckningar är i ordning. För det första beaktar noggrannhetskravet i definition 1 endast det "verkliga" fallet, dvs. målfunktionen antas ingå i hypotesklassen. Däremot måste kravet på prov-komplexitet hålla även i det "overkligt" fallet där h * /  på H. För det andra, alla KWIK algoritmer som tillhandahålls i detta papper har polynom tid komplexitet och därmed är effektiva. Vi noterar att en KWIK-algoritm kan randomiseras, och därför kan konfidensparametern, δ, vara nödvändig även i deterministiska problem. För det tredje tillåter definitionen ovan hypotesen klass H att vara oändlig. I detta fall måste vi kräva att KWIK ska vara polynom i komplexitetsmåttet dim(H), snarare än i storleken av H. Medan i vissa situationer (såsom i Sect. 5) dim(H) är enkelt att definiera, det är fortfarande en öppen fråga vilken åtgärd som skulle vara lämplig för KWIK i allmänhet. Fler diskussioner förs i Sect. Denna förordning träder i kraft den tjugonde dagen efter det att den har offentliggjorts i Europeiska unionens officiella tidning. Figur 2 visar KWIK:s förhållande till liknande ramar för PAC (troligen ungefär korrekt) (Valiant 1984) och MB (Mistake Bound) (Littlestone 1987). I alla tre fallen presenteras en rad ingångar (ingångar) för eleven. Varje inmatning avbildas i figuren med en rektangulär ruta. I PAC-modellen dras indata från en fast distribution, och eleven förses med etiketter (korrekta utgångar) för en initial sekvens av i.i.d. Ingångar, avbildade med skuggade rektanglar. Efter denna punkt, eleven krävs för att producera en hypotes som, med sannolikhet minst 1 - δ, gör exakta förutsägelser för 1 - fraktion av indata. För detta papper är det naturligt att överväga en variant av PAC, där eleven är skyldig att producera en -exakt utgångar (tomma lådor) för alla nya ingångar med sannolikhet minst 1 - δ. I MB-modellen förväntas eleven producera en output för varje input. Etiketter ges till eleven när den gör ett misstag (ifyllda rutor). Indata väljs motsträvigt, så det finns ingen gräns för när det sista misstaget kan göras. Men MB algoritmer garanterar att det totala antalet misstag är liten, så förhållandet mellan felaktiga och korrekta utgångar måste gå till noll asymptotiskt. I den mest studerade koncept inlärningsproblem, någon MB algoritm för en hypotes klass kan användas för att ge en PAC algoritm för samma klass (Littlestone 1989), 2 men det omvända är inte nödvändigtvis sant (Blum 1994). KWIK-modellen har inslag av både PAC och MB. Precis som PAC har en KWIK-algoritm toleransparametrar som tillåter vissa fel. Liksom MB, indata till en KWIK algoritm 2 En förlängning från konceptinlärning till verkligt värderad funktionsinlärning ges av Klasner och Simon (1995). Mach Learn (2011) 82: 399-443 kan väljas motsträvigt. Istället för att begränsa misstag måste en KWIK-algoritm ha en gräns för antalet etikettförfrågningar som den kan göra. Genom att kräva prestanda oberoende av hur indata väljs kan en KWIK-algoritm användas i fall där indatadistributionen på komplexa sätt är beroende av KWIK-algoritmens beteende, vilket kan ske i on-line- eller aktiva inlärningsinställningar. Varje KWIK-algoritm kan förvandlas till en MB-algoritm med samma gräns genom att helt enkelt ha algoritmen gissa en utgång varje gång den inte är säker; KWIK-bandet är automatiskt en övre gräns för antalet misstag. Vissa hypotesklasser är dock exponentiellt svårare att lära sig i KWIK-inställningen än i MB-inställningen. Ett exempel är samband mellan n Booleska variabler, där MB-algoritmer kan gissa "falska" när de är osäkra och lär sig med n + 1 misstag, men en KWIK-algoritm kan behöva (2 n ) många för att förvärva de negativa exempel som krävs för att fånga målhypotesen: en konkret sekvens av kontradiktoriska indata ges i Li (2009), och en relaterad lägre gräns erhålls av Angluin (1988) för "dubbel solros" lemma i den frågebaserade inlärningsmodellen. Separationen är inte bara teoretiskt viktig, utan illustrerar viktiga skillnader i det tillåtna beteendet och kostnaden för information för MB och KWIK. I både MB och KWIK kan vi betrakta inlärningsprocessen som ett tvåspelarspel där motståndaren på jämna djup noder i spelträdet väljer en ny ingång och en etikett för den sista inmatningen som måste överensstämma med noderna ovanför. Vid de udda noderna får eleven göra en förutsägelse. Spelet avslutas när den udda spelaren har bildat rätt hypotes och utbetalningen bestäms enligt följande. För MB, utbetalningen är negativ av antalet misstag förutsägelser längs banan. För KWIK är utbetalningen −B(, δ, dim(H)), baserat på antalet  på den valda banan i spelträdet, plus −∞ för varje bana som innehåller en felaktig (med sannolikhet minst δ) förutsägelse. Lägg märke till att MB-trädet och KWIK-trädet strukturellt sett är nästan identiska (med undantag för åtgärden), men att deras utbetalningsstrukturer kommer att framkalla mycket olika beteende. Till exempel, när det gäller att lära sig en förening, om motståndaren väljer ett positivt exempel, kommer framtida banor (förutsatt att motståndaren spelar rationellt) i både MB och KWIK träd att vara exponentiellt mindre än under motsvarande negativa exempel, som ger mycket lite information. Ett optimalt medel i MB-trädet kan dock minska kostnaderna för dessa långa (negativa) banor genom att alltid välja "falska" när det inte har bevis för att den valda inmatningen är sann. Detta kommer antingen att kosta det ett enda misstag men sätta det på en mycket kort gren (få en mycket informativ positiv exempel), eller kosta det ingenting men sätta det på en mycket lång (men inte kostsam) väg. Å andra sidan har den optimala agenten i KWIK-spelet inte möjlighet att säkra sina insatser. Där misstag gjordes i MB-trädet med endast en lokal enhet kostnad, i KWIK-trädet utbetalningsstrukturen gör dem oändligt dyra. Den enda garanterade ändliga utbetalningen tillgänglig för agenten kommer från att välja  på varje ingång med osäker utgång, och det finns exponentiellt många av dessa som motståndaren kan tvinga agenten ner en av de längre (negativa exempel endast) vägar. Intuitivt, MB agent kan deklarera sina avsikter efter motståndaren tillkännager etiketten. Om det korrekt förutspådde ett negativt exempel, MB "kände det hela tiden". Om det var fel, gjorde det ett mycket informativt misstag. KWIK-agenten kan däremot inte ägna sig åt sådant självbedrägeri. För att undvika −∞ utbetalningen, måste den bara göra giltiga förutsägelser när det är absolut säker på resultatet. Fördelen med denna begränsning, är att till skillnad från MB agenten, KWIK agenten är i sig själv "medveten": innan den gör en förutsägelse, kan den alltid kategorisera steget som "exploration" ( och) eller "exploitation" (märkning), medan MB algoritmen i sig bygger på att göra sådana distinktioner efter det faktum. En sådan hängivenhet för visshet kan tyckas alltför restriktiv, men vi argumenterar i Sect. 7.3 att avsaknaden av antaganden och självmedvetenhet i KWIK är bättre lämpad än antingen MB eller PAC för att skapa proveffektiva förstärkande inlärningsalgoritmer. Mach Learn (2011) 82: 399-443 405 3.3 Andra online-lärande modeller Begreppet att låta eleven välja bort vissa ingångar genom att återvända är inte unikt för KWIK. Flera andra författare har övervägt relaterade modeller: -Sleeping Experts (Freund et al. 1997a ) kan svara för vissa indata, även om de inte behöver lära sig av dessa erfarenheter och antalet  tills i hela kör kan vara fritt; -Lärare i inställningarna för selektiv provtagning (Cesa-Bianchi et al. 2006) och Label Efficient Prediction (Cesa-Bianchi et al. 2005 ) begära etiketter slumpmässigt med en föränderlig sannolikhet och uppnå gränser för förväntat antal misstag och förväntat antal etikettförfrågningar om ett begränsat antal interaktioner. Dessa algoritmer kan inte användas omodifierade i KWIK-inställningen eftersom, med hög sannolikhet, KWIK algoritmer inte får göra misstag när som helst; -I MB-liknande Apple-Tasting inställning (Helmbold et al. 2000), får eleven återkoppling asymmetriskt endast när den förutspår en viss etikett (ett positivt exempel, låt oss säga), som sammanställer begäran om ett urval med förutsägelsen om ett visst resultat. -Query-för-kommitté algoritmer (Seung et al. 1992; Freund m.fl. 1997b ) fastställa förtroendenivån för deras förutsägelser till exempel på grundval av graden av oenighet i prognoserna för underalgoritmer i kommittén. På samma sätt som för selektiva samplingsalgoritmer föreslogs fråge-för-kommitté-algoritmer för aktivt lärande och kan inte ha samma noggrannhetskrav som KWIK. -Slutligen, den genomsnittliga Classifier av Freund et al. (2004) kan returneras om den genomsnittliga förutsägelsen till exempel ligger nära klassificeringsgränsen. Det antas dock att exempel är i.i.d. och en icke- förutsägelse kanske inte är korrekt. (Shafer och Vovk 2008) är ett online-lärande paradigm där eleven måste förutsäga en region, snarare än en punkt förutsägelse, för den nuvarande indata baserad på tidigare observerade input-output par. Det krävs att dessa förutsägelser regioner innehåller rätt utdata med hög sannolikhet. Det är enkelt att avgöra om produktionen är känd med tillräcklig noggrannhet baserat på regionens "storlek". Till exempel, i regressionsproblem, om regionen är ett intervall av längd mindre än, Då någon punkt förutsägelse i denna region kommer att vara -exakt med hög sannolikhet. Befintliga metoder för konforma förutsägelser gör dock statistiska antaganden om indata såsom oberoende eller utbytbarhet, och blir därmed inte tillämpliga i KWIK-inställningen. En annan ram som liknar KWIK är tyvärr ramen som tillämpas på Associative Bandit Problem (Strehl et al. 2006c) : varje gång steg t i denna modell, eleven får input x t X, väljer en åtgärd a t från en möjligen oändlig uppsättning A, och sedan får en randomiserad payoff r t., vars förväntan beror på x t och a t. Målet är att minimera ångra, definieras som skillnaden mellan den största totala payoff genom att följa den bästa åtgärd-urval regel π i vissa givna regel satt och den totala payoff mottagen av eleven. No-regret algoritmer har hittats för varianter av associativa bandit problem i den meningen att deras ånger är sublinear i antalet tidssteg (t.ex., Auer 2002). Följaktligen konvergerar genomsnittet per tidssteg till 0 i gränsvärdet. Dessa algoritmer uppfyller dock inte KWIK-kraven av exakt samma anledning som MB-algoritmer inte är KWIK: eleven vet inte säkert när det sista misstaget görs, även om den totala sannolikheten för felaktiga förutsägelser är liten. Mach Learn (2011) 82: 399-443 Detta avsnitt beskriver några hypotesklasser för vilka KWIK-algoritmer finns tillgängliga. Det är inte tänkt att vara en uttömmande undersökning, utan helt enkelt för att ge en smak för egenskaperna hos hypoteser klasser KWIK algoritmer kan utnyttja. Komplexiteten av många inlärningsproblem har karakteriserats av att definiera dimensionaliteten av hypotesklasser (Angluin 2004). Ingen sådan definition har hittats för KWIK-modellen, så vi använder oss av att räkna upp exempel på lärbara klasser. Vi börjar med att beskriva de enklaste och mest allmänna KWIK-algoritmerna. X med en KWIK på väg till X. Denna algoritm kan användas när inmatningsmängden X är ändlig och observationerna är bullerfria. För att uppnå detta bundet, algoritmen håller helt enkelt en mappning på initiering för att (x) =  på alla x X. När miljön väljer indata x, rapporterar algoritmen (x). Om h(x) =  och miljön ger en etikett y och algoritmen tilldelar (x) := y. Det kommer bara att rapportera en gång för varje insats, så KWIK bunden är  på X. Algoritmen håller koll på versionsutrymmet, och initialt = H. Varje gång miljön ger indata x X, beräknar algoritmen L = {h(x). Det vill säga, det bygger uppsättningen av alla utgångar för x för alla hypoteser som ännu inte har uteslutits. Om 0 = 0, versionsutrymmet har uttömts och målhypotesen är inte i hypotesklassen (h *  på H). Om L = 1, betyder det att alla hypoteser kvar i en överenskommelse om utdata för denna indata, och därför algoritmen vet vad rätt utdata måste vara. Den återvänder till L. Å andra sidan, om "L" > 1, två hypoteser i versionsutrymmet är oense. I detta fall kommer algoritmen tillbaka och tar emot den sanna etiketten y. Det beräknar sedan en uppdaterad version spacê Eftersom  på L på > 1, det måste finnas någon h  på sådan att h(x) = y. Därför måste det nya versionsutrymmet vara mindre: Innan nästa inmatning tas emot uppdateras versionsutrymmet := på. Om L=1 = 1 vid någon punkt, och algoritmen kommer inte längre att återvända. Därför är 1 är det maximala antalet gånger algoritmen kan återvända. Exempel 1 Du äger en bar som besöks av en grupp av n beskyddare P. Det finns en beskyddare f  på P som är en anstiftare-när en grupp av beskyddare är i baren G  på P, om f  på G, en kamp kommer att bryta ut. Men det finns en annan beskyddare P, som är en fredsstiftare. Om p är i gruppen, kommer det att förhindra en kamp, även om f är närvarande. Mach Learn (2011) 82: 399-443 407 Du vill förutsäga om en strid kommer att bryta ut bland en delmängd av beskyddare, initialt utan att känna till identiteterna för f och p. Inmatningsmängden är X = 2 P och utmatningsmängden är Y = {kamp, ingen kamp}. Memoreringsalgoritmen uppnår en KWIK-gräns på 2 n för detta problem, eftersom det kan behöva se varje möjlig undergrupp av beskyddare. Men uppräkningsalgoritmen kan KWIK-lära denna hypotes klass med en gräns av n(n − 1) - 1 eftersom det finns en hypotes för varje möjlig tilldelning av en beskyddare till f och p. Varje gång den rapporterar, det kan utesluta minst en möjlig anstiftare-peacemaker kombination. De två föregående algoritmerna utnyttjade ändligheten hos hypotesklassen och inmatningsmängden. KWIK gränser kan också uppnås när dessa uppsättningar är oändliga. Problem 3 Definiera X = n, Y =, och algoritmen upprätthåller en utbildning uppsättning T av träningsexempel, som initieras till den tomma uppsättningen ∅ före lärande. På den t: e input )} vara den nuvarande uppsättningen av utbildningsexempel. Algoritmen först upptäcker om x t är linjärt oberoende av de tidigare ingångar som lagras i T. Detta kan göras effektivt genom, låt oss säga, Gaussian eliminering (Golub och Van Loan 1989). Om x t är linjärt oberoende, då algoritmen förutsäger  och observerar utdata y t = f (x t ), och expanderar sedan träningssetet: T ← T  och {(x t, y t )}. Annars finns det k reella tal, en 1, en 2,. ., en k, sådan att I detta fall kan vi exakt förutsäga värdet av f (x t ) med linjär algebra: Genom driften av algoritmen, ingångarna i T (det vill säga v 1, v 2,. .., v k ) måste vara linjärt oberoende hela tiden. Därför innehåller T på de flesta n träningspar, så algoritmen kommer att förutsäga  på de flesta n gånger. Alla fall där ingångarna innehåller n sådana linjärt oberoende vektorer visar att KWIK- bundet är tätt. Den deterministiska linjära regressionsalgoritmen ovan kan användas av distansundervisningen nedan för att lära sig 2-avståndet mellan två punkter. n, Y =, och Mach Learn (2011) 82: 399-443 där distansundervisningsalgoritmen kan lära sig i denna hypotesklass med en KWIK gräns n + 1. Även om detta problem kan lösas med hjälp av ett geometriskt argument är det lättare att beskriva lösningen via en reduktion till deterministisk linjär regression. 3 Vi börjar med kvadraten 2 -avståndet av en ingång x till den okända punkten c: Den högra sidan kan betraktas som en linjär funktion, c Tx, varx och c är den utökade ingång och vikt vektorer, respektive: Därför kan vi använda deterministisk linjär regression till KWIK-lära funktionen, x − c 2 − x 2, med en KWIK gräns n + 1. Om vi kan göra en exakt förutsägelse för denna funktion, kan vi enkelt beräkna avståndet x − c. Fram till denna punkt, observationer har varit bullerfri. I detta underavsnitt ser vi ett par bullriga KWIK inlärningsproblem. Vi börjar med det enklaste Bernoulli fallet och noterar att samma algoritm faktiskt kan tillämpas på KWIK-lära förväntan av en avgränsad, real värderad slumpmässig variabel. Mynt lär algoritmen kan exakt förutsäga sannolikheten för att en partisk mynt kommer upp huvuden ges Bernoulli observationer med en KWIK bundet av Vi har en partisk mynt vars okända sannolikhet för huvuden är p. I notationen av detta papper, X är en singleton som innehåller ett godtyckligt valt element (vilket innebär att vi har ett enda mynt med en fast men okänd huvud sannolikhet), Y = [0, 1] och Z = {0, 1} med 0 för svans och 1 för huvud. Vi vill lära oss en uppskattning som är korrekt (- p- p- ≤ ) med hög sannolikhet (1- δ). Om vi kunde observera p, då detta problem skulle vara trivialt: Säg en gång, observera p, och låtp = p. KWIK bundna är alltså 1. Men nu är observationerna högljudda. Istället för att observera p, ser vi antingen 1 (med sannolikhet p) eller 0 (med sannolikhet 1 - p). Varje gång algoritmen säger, det får en oberoende test som det kan använda för att beräkna den empiriska sannolikheten:p = 1 T T t=1 z t, där z t  för Z är t th observation i T prövningar. Antalet försök som behövs innan vi är 1 − δ säker på att vår uppskattning är inom -noggrannhet kan beräknas med hjälp av en Hoeffding (1963) gräns: 3 Detta tillvägagångssätt föreslogs av Robert Schapire. Mach Learn (2011) 82: 399-443 409 Myntlärarproblemet ovan kan betraktas som ett specialfall av tärningslärarproblemet. Här är agenten till KWIK-lär en multinomal fördelning över n element, där varje distribution anges av n icke-negativa tal som summerar upp till enhet. Den förutsägelse fel definieras som den totala variansen mellan den sanna fördelningen och elevens förutsägelse; med tanke på två diskreta fördelningar, y och på samma diskreta prov utrymme,, är deras totala variation definieras som hälften av deras 1 avstånd:.. ---------------------------------------------------------------------------------------------------------------------------------------------------------------- Tärningsalgoritmen kan exakt förutsäga en multinomal fördelning över n element inom total variation givet multinomiella observationer med en KWIK bundet av Algoritmen är nästan identisk med mynt inlärning. Den tar först T-prover från den multinomiska distributionen och använder sedan den empiriska distributionen för förutsägelse. För att härleda en KWIK bundet för tärningslärande, kan vi använda myntinlärning till KWIK-lära varje sannolikhet i multinomial distribution h = (h( ska 1 ), h( ska 2 ),. .., h ( ska n )) för att säkerställa /n noggrannhet med sannolikhet minst 1 − δ/n. Sedan, en tillämpning av facket bundna ger följande KWIK bundet för tärningslärande som är asymptotiskt värre än den angivna bundet. En mer noggrann analys med hjälp av den multiplikativa formen av Chernoffs bindning kan dock bevisa att KWIK är bunden. Ett bevis ges av Kakade (2003). Tärningsalgoritmen kommer att fungera som en viktig byggsten i många av våra tillämpningar för att förstärka lärandet. Det viktiga fallet med bullriga linjära funktioner studeras i Sect. Denna förordning träder i kraft den tjugonde dagen efter det att den har offentliggjorts i Europeiska unionens officiella tidning. Detta avsnitt utvidgar den deterministiska linjära regressionsalgoritmen (Problem 3) till det bullriga fallet där observationerna är målutgångar korrumperade av additiv, vitt brus. Algoritmen vi presenterar här är baserad på tidigare arbete av Strehl och Littman (2008), som först formulerade och löste detta problem. Nyligen utvecklades två relaterade algoritmer. Walsh och Al. (2009) beaktade en något annorlunda inställning än den som definieras i Sect. 3. Vad är det som händer? Specifikt, deras algoritm kan alltid se etiketten även om det gör en giltig förutsägelse, även om en senare förfining av detta arbete (finns som en teknisk rapport) utfört analysen under samma villkor som algoritmen ovan. Provets komplexitetsresultat för denna algoritm var på samma nivå som de som rapporterades här, men eftersom det använde legalisering, beräknings- och lagringskraven var båda polynom i antalet dimensioner, snarare än att växa med antalet prover som en naiv implementering av algoritmen ovan skulle. I det ljuset kan detta senare arbete ses som en praktisk version av den som presenteras här, men med något annorlunda mekanik. Cesa-Bianchi m.fl. (2009) studerade selektiv provtagning för binär klassificering med linjära klassificeringar. Under ett svagare antagande att miljön är en glömsk motståndare 410 Mach Learn (2011) 82: 399-443 (nämligen är sekvensen av ingångar fast på förhand), deras Parametric BBQ algoritm uppnår en betydligt bättre KWIK bundet av Õ(d/ 2 ), där Õ(·) undertrycker logaritmiska faktorer. KWIK-bandet som vi presenterar i detta avsnitt är dock fortfarande giltigt även när miljön är adaptiv, det vill säga när miljön har förmågan att bestämma nästa input baserat på tidigare interaktionshistoria med eleven. Dessutom har deras band ett logaritmiskt beroende av det totala antalet tidssteg. Däremot är vår KWIK bunden här (liksom den av Walsh et al. 2009) inte har denna beroende-en egenskap som är nödvändig för KWIK algoritm tillämpning för att förstärka lärande i Sect. Punkt 7.2 ska ersättas med följande: I det bullriga linjära regressionsproblemet är vissa antaganden om regelbundenhet nödvändiga för att göra det möjligt. Kom ihåg att för en vektor x  på n, vi betecknar dess 2 norm av x. 1] och det deterministiska fallet beskrevs i Sect. 4.2 med en KWIK bundet till n. Här, algoritmen måste vara försiktig att genomsnitt över de bullriga prover för att göra förutsägelser korrekt. Algoritmen använder minsta-kvarts uppskattning av viktvektorn för ingångar med hög säkerhet. Säkerheten mäts med två termer som representerar 1) antalet och närheten av tidigare prov till den aktuella indatan och 2) de föregående provens lämplighet för att göra en uppskattning av den minsta kvadraten. När säkerheten är låg för båda måtten, rapporterar algoritmen och observerar ett bullrigt prov av den linjära funktionen. Problem 7 Definiera Låt X  till m×n betecknar en m × n-matris vars rader vi tolkar som införlivade ingångsvektorer. Vi låter X(i) beteckna införlivandet av ith raden av X. Låt z  på m betecknar en m-dimensionell vektor vars ith-komponent, betecknad z(i), tolkas som motsvarande bullriga observation. Eftersom X T X är symmetrisk och positiv semi-definit, kan det skrivas som följande form av singular värde nedbrytning (Golub och Van Loan 1989): där U = [u 1,. .., u n ] N×n, med u 1,. .., u n är en uppsättning ortonormala singular vektorer av X T X, och = diag(λ 1,. ., λ n ), med motsvarande singular värden För en fast ingång x t (en ny ingång som tillhandahålls till algoritmen vid tidpunkten t ), definē Mach Learn (2011) 82: 399-443 411 Vår algoritm använder dessa mängder och tillhandahålls i pseudokod av Algoritm 1. Huvudresultatet om denna algoritm är följande teorem. Även om analysen av Algoritm 1 är något komplicerad, algoritmen själv har en naturlig tolkning. Med tanke på en ny ingång x t, algoritmen överväger att göra en förutsägelse av utdata y t med hjälp av norm-constrased minst-kvarts estimator (specifikt, på rad 6 i Algorithm 1). Normerna för vektorernaq ochū ger ett kvantitativt mått på osäkerhet om denna uppskattning. När båda normerna är små, är uppskattningen pålitlig och en giltig förutsägelse görs. När endera normen är stor, är uppskattningen inte pålitlig och algoritmen producerar en utgång av  på. Mängderna q ochū ger ett mått på osäkerhet för den minsta kalkylen (Auer 2002). Tänk på fallet när alla eigenvärden av X T X är större än 1. I detta fall, notera att sålunda kan x skrivas som en linjär kombination, vars koefficienter utgör uppq, av raderna i X, som är tidigare erfarna ingångar. Intuitivt, om normen avq är liten, då finns det många tidigare träningsprover (faktiskt, kombinationer av ingångar) "liknande" till x, därav deras ljud avbryta varandra, och vår minsta estimat är sannolikt att vara korrekt för x. För okonditionerade X T X (när X T X har singularvärden nära 0) kan X(X T X) −1 x vara odefinierad eller ha en stor norm. I detta fall måste vi överväga de riktningar som motsvarar små singular värden separat viaū: om ū är tillräckligt liten, kan denna riktning ignoreras utan att avsevärt påverka förutsägelsen; annars, algoritmen förutspår. Vår analys av Algoritm 1 hänger på två viktiga lemmas som vi nu presenterar. De visar tillsammans att det kumulativa kvadratfelet hos en prediktor kan användas för att begränsa dess förutsägelsefel på en ny ingång, en kritisk insikt som används för att bevisa Theorem 1. De fullständiga bevisen finns i bilaga A. Låt x t betecknar indata vid tidsteg t. Algoritm 1 Noisy Linjär regression Computeq ochū med hjälp av ekvationer 2 och 3. om q ≤ α 1 och ū ≤ α 2 sedan 6: Välj att n som minimerar i (z(i) − på T X(i)) 2 med förbehåll för  på ≤ 1. Förutsägelse: T x t. 8: Förutsäga t =... Ta emot observation z t. Lägg till x T t som en ny rad till matrisen X. Lägg z t som ett nytt element till vektorn z. avsluta om 14: avsluta för 412 Mach Lär (2011) 82: 399-443 Den första lemma analyserar beteendet hos kvadratfelet av förutsägelser baserat på en felaktig uppskattning av ( =  till ) jämfört med kvadraten fel som erhållits genom att använda den sanna parametern vektorn. Specifikt, Vi visar att kvadraten fel av den förra är mycket sannolikt att vara större än den senare när förutsägelserna som bygger på på (av formen på T x för indata x) är mycket felaktiga. Bevisen använder sig av Hoeffding (1963). n och ska n vara två fasta parametervektorer som uppfyller  på ≤ 1 och på ≤ 1. Antag att (x 1, z 1 ),. ., (x m, z m ) är någon sekvens av prover som uppfyller med sannolikhet minst 1 − 2δ. Nästa lemma relaterar felet i en uppskattning av T x för en fast ingång x baserat på en felaktig uppskattning till mängderna q, ū, och kom ihåg att när q och ū är båda små, vår algoritm blir säker på de minsta-kvarts uppskattning. I just detta fall visar lemman att  med en kvantitet som står i proportion till E (-) (-) är begränsad till T x med en mängd som är proportionell mot E (-). Detta resultat rättfärdigar det tillstånd som används av Algoritm 1 för att förutsäga  på. n och ska n vara två fasta parametervektorer som uppfyller  på ≤ 1 och på ≤ 1. Antag att (x 1, z 1 ) Vi har att Detta avsnitt ger exempel på hur KWIK elever kan kombineras för att ge lärande garantier för mer komplexa hypotes klasser. Deras tillämpningar för att förstärka lärandet är ämnet för nästa avsnitt. Vi överväger först en variant av Problem 1 som kombinerar elever över osammanhängande inmatningsuppsättningar.  Mach Learn (2011) 82: 399-443 413 Inmatningspartitionalgoritmen kör inlärningsalgoritmen, betecknad A i, för varje underklass H i med hjälp av parametrar och δ/k. När den får en input x X i, frågar den A i och returnerar sitt svar. Om en observation erhålls och inmatningspartitionen informerar A i om att låta den lära sig. Annars är -korrekt med hög sannolikhet, som garanteras av enskilda subalgoritmer. Det totala antalet  tills är summan av antalet  tills returneras av alla delalgoritmer A i. För att uppnå 1 – δ säkerhet, insisterar den på 1 – δ/k säkerhet från var och en av underalgoritmerna. Genom en förening bunden, den totala felsannolikheten måste vara mindre än summan av felsannolikheterna för subalgoritmerna, som är högst δ. Exempel 2 Låt X = Y =. Definiera H att vara en uppsättning av styckevisa linjära funktioner: Med hjälp av deterministisk linjär regression (Problem 3), kan vi KWIK-lära klassen av linjära funktioner över två ingångar, X − = (−∞, 0) och X + = [0, ∞), var och en kräver en KWIK gräns på 1. Observera att {X −, X + } är en partition av hela indatamängden: X −  på X + = X − på X + = ∅. Vi kan använda ingångspartitionen till KWIK-läran H med en KWIK-gräns på 1 + 1 = 2. De två KWIK-eleverna kallas A − och A +, respektive. Anta att den första inmatningen är x 1 = 2, vilket är i X +. Inmatning partitionsalgoritm frågar A + med indata x 1. Eftersom A + inte har någon aning om y 1 kommer den tillbaka. Därför, indata partition rapporter på 1 =  på, och y 1 = 4 observeras. Learner A + kan nu med säkerhet dra slutsatsen att p = y 1 /x 1 = 2, och vi kan nu förutsäga f (x) för alla x X +. Nästa inmatning är x 2 = 0.5 X +, som återigen presenteras till A +, vilket resulterar i 2 = px 2 = 1. Den tredje inmatningen är x 3 = −1  på X −. Algoritmen frågar A − med indata x 3 och tar emot sedan A − har inte tillräckligt med information för att förutsäga y 3. Algoritmen förutspår sedan för andra gången och ser y 3 = 3. Learner A − kan nu bestämma m = y 3 /x 3 = −3, och målfunktionen är helt identifierad: Ett liknande tillvägagångssätt gäller för utdatauppsättningen Y när det är en korsprodukt av k-uppsättningar: Eftersom noggrannhetskravet i Definition 1 beror på utdatauppsättningen samt tolkningen av diskrepansen metrisk  på ·  och det är nödvändigt att göra vissa antaganden för att relatera diskrepansen metriska av Y till de av Y i. Ett naturligt val, som vi kommer att använda i Sect. 7, är att anta förekomsten av några α  på (0, 1] sådan att för alla  till (0, 1) och alla Nästa algoritm generaliserar den tidigare algoritmen genom att kombinera både ingångs- och utgångsuppsättningar.  Här, varje ingång består av en vektor av ingångar från var och en av de uppsättningar X 1,. .., X k och utgångar är vektorer för utgångar från Y 1,. .., Y k. Liksom problem 9, kan varje komponent i denna vektor läras självständigt via motsvarande algoritm. Var och en lär sig att inom en noggrannhet av α och konfidens 1 − δ/k. Varje gång någon komponent returneras, korsproduktalgoritmen returnerar. Eftersom varje returnerade kan spåras till en av underalgoritmerna, den totala begränsas som beskrivs ovan. Av facket bundet är den totala felsannolikheten högst k × δ/k = δ. Vi noterar att Problem 9 är ett degenererat fall där X i = X j för alla i, j och varje ingång vektor innehåller samma element i dess komponenter. Exempel 3 Du äger en kedja av k barer, som var och en besöks av en uppsättning n beskyddare, P i, och återigen varje bar har en anstiftare f i P i och en fredsstiftare p i P i. Skådespelarna överlappar inte varandra. På varje given natt, med någon delmängd av varje P i på varje bar, måste du förutsäga om, för varje bar, det kommer att bli en kamp. Observera att indatapartitionen inte kan lösa detta problem eftersom en förutsägelse måste göras för varje rad, och utdatakombinationen är på liknande sätt otillräcklig eftersom det finns k separata indatauppsättningar. Men att använda korsprodukt med uppräkning (Problem 2) för varje bar uppnår en KWIK-gräns på k(n(n − 1) − 1). Vi noterar att överprodukter i allmänhet kan lindas runt flera olika elever (t.ex. Uppräkning för ett delproblem och memorering för ett annat). De två föregående algoritmerna gäller kombinationer av ingångs- eller utgångsuppsättningar och gäller både deterministiska och bullriga observationer. Vi ger sedan en intuitiv algoritm för det deterministiska fallet som kombinerar hypotesklasser. (, δ) där Problem 11 Låt F  till (X →Y Facket algoritm är som en högre nivå version av uppräkning (Problem 2) och gäller i den deterministiska inställningen. Det upprätthåller en uppsättning aktiva algoritmer В, en för varje hypotes klass:В = {1,..., k}. Med tanke på en input x, fackalgoritmen frågar varje algoritm i  för att få en förutsägelse jag från varje aktiv algoritm. LetL = {... i.. i............................................................................................................................... Dessutom innebär en förening bunden att, med sannolikhet minst 1 − δ, alla förutsägelser av A i måste vara /2-exakt när h *  på H i. Om L, fackföreningsalgoritmen rapporterar och får rätt utdata y. Alla algoritmer i som sedan skickas rätt utdata y för att låta den lära sig. När vi ser två fall som följer. IfL är konsekvent, vilket innebär att det finns en sådan att max och L - / 2, så vi hävdar att -exakt med hög sannolikhet: genom antagande, en av förutsägelserna inL, Om, å andra sidan,L är inte konsekvent, vilket innebär att det inte finns någon eller Y sådan att max på L ---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- Alla algoritmer som gör ett förutsägelsefel större än /2 elimineras för framtida överväganden. Det är, Âtydligt, åtminstone en algoritm kommer att elimineras eftersom alla y  på Y måste skilja sig från minst ett element inL av minst /2. Om varje indata som fackalgoritmen rapporterar om, antingen en av de underalgoritmer som rapporterats (som mest i B i ( /2, δ/k) gånger) eller två algoritmer var oense och minst en togs bort frånВ (som mest k - 1 gånger). KWIK:s band följer av dessa fakta. Det vill säga, varje funktion i H 1 kartor x till dess avstånd från någon okänd punkt c. Vi kan lära H 1 med en KWIK bundet till 2 med hjälp av en 1-dimensionell version av distansundervisning. Därefter, definiera det vill säga, H 2 är uppsättningen av linjer. Vi kan lära oss H 2 med en KWIK gräns på 2 med hjälp av deterministisk linjär regression. Slutligen, definiera H = H 1  på H 2, föreningen av dessa två klasser. Vi kan använda union till KWIK-läran H. Antag att den första inmatningen är x 1 = 2. Fackliga algoritmen frågar eleverna för H 1 och H 2 med x 1 som ingång och inte heller har någon idé, så det återvänder och får feedback y 1 = 2, som det passerar till subalgoritmer. Nästa inmatning är x 2 = 8. Inlärarna för H 1 och H 2 har fortfarande inte tillräckligt med information, så den återvänder och ser y 2 = 4, som den passerar till subalgoritmerna. Nästa, x 3 = 1. Nu räknar eleven för H 1 otvetydigt ut c = 4, eftersom det är den enda tolkningen som stämmer överens med de två första exemplen (-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- Å andra sidan beräknar eleven för H 2 otvetydigt m = 1/3 och b = 4/3, eftersom det är den enda tolkningen som överensstämmer med de två första exemplen (2 × 1/3 + 4/3 = 2, 8 × 1/3 + 4/3 = 4), så den returnerar 1 × 1/3 + 4/3 = 5/3. Eftersom de två underalgoritmerna inte håller med, återvänder fackalgoritmen en sista gång och upptäcker att y 3 = 3. Det gör alla framtida förutsägelser (korrekt) med hjälp av algoritmen för H 1. Slutligen ger vi en kraftfull algoritm som generaliserar fackets algoritm för att arbeta med bullriga observationer också. Den grundläggande idén liknar metoden för hypotes testning av, Som anser en PAC-stil lärande modell för probabilistiska begrepp.  Mach Learn (2011) 82: 399-443 Vi skisserar först det speciella fallet k = 2 för att förklara intuitionen av bullriga union, och sedan utvidga analysen till det allmänna fallet. Denna algoritm liknar fackalgoritmen (Problem 11), förutom att den måste hantera bullriga observationer. Algoritmen fortskrider genom att köra KWIK algoritmer, betecknade A 1 och A 2, med hjälp av parametrar ( 0, δ 0 ), som subalgoritmer för var och en av H i hypotes klasser, där 0 = /4 och δ 0 = δ/3. Eftersom en ingång x t i test t, det frågar varje algoritm i för att få en förutsägelse ti. Låt L t vara uppsättningen av svar. Om  till L t, den bullriga fackföreningsalgoritmen rapporterar  och får en observation z t  på Z, och skickar den till subalgoritmer i med till ti =  på så sätt att de kan lära sig. I det följande fokuserar vi på de återstående fallen där det är tillräckligt konsekvent, med hög sannolikhet förutsägelsen t = (en t1 + en t2 )/2 är -nära y t = Pr(z t = 1). Detta är fallet eftersom en av förutsägelserna, säger t1, avviker från y t med högst 0 med sannolikhet minst 1 − δ/3, och därmed Om  ska t1 − och t2  på > 4 0, då de enskilda förutsägelser är inte tillräckligt konsekventa för bullriga union för att göra en -exakt förutsägelse. Därför rapporterar den och behöver veta vilken delalgoritm som gav ett felaktigt svar. Men eftersom observationerna är högljudda i detta problem, kan det inte eliminera h i på grundval av en enda observation. I stället upprätthåller den det totala kvadratförutsägelsefelet för varje delalgoritm i: e i = t till T (- ti - z t ) 2, där T = {t  till  för t1 − och t2 > 4 0 } är den uppsättning försök där delalgoritmer gav inkonsekventa förutsägelser. Vårt sista steg är att visa att e i är en robust åtgärd för att eliminera ogiltiga prediktorer när  på T är tillräckligt stor. Genom att tillämpa Hoeffding bunden och en del algebra, finner vi Ställa in höger sida för att vara δ/3 och lösa för  och T, Vi har Eftersom varje A i lyckas med sannolikhet 1 − δ/3, och jämförelsen av e 1 och e 2 också lyckas med sannolikhet 1 − δ/3, en fackförening bunden innebär att den bullriga fackalgoritmen lyckas med sannolikhet minst 1 − δ. Alla är antingen från en subalgoritm (som mest i B i ( 0, δ 0 )) eller från den bullriga fackföreningsalgoritmen (O(1/ 2 ln(1/δ))). Det allmänna fallet där k > 2 kan reduceras till k = 2 genom att koppla k eleven och köra den bullriga fackalgoritm som beskrivs ovan på varje par. Här körs varje delalgoritm med parametrarna /8 och δ/(k + 1). Algoritmen beskrivs formellt i algoritm 2. Även om det finns par, en mer noggrann analys kan minska beroendet av KWIK bunden på k från quadratic till linearithmic, 4 leder till Theorem 2, vars bevis ges i bilaga B. Observera att vi inte har försökt att optimera den konstanta faktorn i parameter m, men den resulterande KWIK bundet är den bästa möjliga upp till en konstant ). Mach Learn (2011) Förutsäg mittpunkten i uppsättningen av förutsägelser: ska t = (max i och t + min i och rt )/2 för alla i, j  till R sådan att i < j och  till ti − till tj  på ≥ /2 göra 19: när parametern m är inställd på lämpligt sätt: I detta avsnitt identifieras ett antal KWIK-lärbara miljöer för förstärkningslearning (RL), som var och en resulterar i en provtagningseffektiv algoritm för motsvarande klass av miljöer. Vi introducerar först den grundläggande notationen, definierar hur vi mäter prov komplexitet i online RL, och sedan undersöker flera framstående fall från litteraturen. (s, a) är den förväntade kumulativa belöningen som erhålls genom att vidta åtgärder a i staten och därefter följa π. För att maximera den totala belöningen från miljön, önskar agenten en optimal politik π * vars värde funktioner, betecknad med V * (s) och Q * (s, a), respektive uppfyller villkoren: V * = max π V π och Q * = max π Q π π. Med tanke på den fullständiga modellen av en MDP (dvs fem-tums M), en uppsättning standardalgoritmer finns för att hitta den optimala värdefunktionen samt den optimala politiken, inklusive linjär programmering, värde iteration, och policy iteration (Pureman 1994). Om övergångs- och/eller belöningsfunktionerna är okända måste dock beslutsfattaren samla in information genom att interagera med miljön. I en allmän förstärkning-lärande inställning som vi kallar online RL, agenten väljer åtgärder i diskreta tidssteg t = 1, 2, 3,....... Vid varje gång steg t, upptar agenten en enda stat, betecknade s t, och måste välja en åtgärd a t. A enligt vissa politik, och observerar en provtagning övergång: nästa tillstånd den upptar dras från övergångsfunktionen, s t+1  på T (·  på t, a t ), och den omedelbara belöningen den får är r t = R(s t, a t ). Det är enkelt att generalisera våra resultat till det fall där belöningarna är stokastiska. Vi kallar tuple s t, a t, r t, s t+1 en övergång, som kan användas som en utbildning exempel för att lära belöning och övergångsfunktioner av MDP. Lärande agenten kan uppdatera sin policy om att observera denna övergång. Därför kan en online-RL-algoritm ses som en icke-stationär policy som kartlägger sekvensen av övergångar den observerar hittills till en åtgärd-urval regel. I motsats till stationär politik väljer icke-stationär politik åtgärder inte bara baserade på den nuvarande staten, utan också på tidigare erfarna stater, åtgärder och belöningar. I resten av detta avsnitt fokuserar vi på en klass av RL-algoritmer som kallas modellbaserade tillvägagångssätt (se t.ex. Moore och Atkeson 1993). Dessa algoritmer lär sig huvudsakligen övergångs- och belöningsfunktionerna för den underliggande MDP, baserat på observerade övergångar, och sedan 5 För MDPs med oändliga (t.ex. kontinuerliga) tillstånd eller åtgärdsutrymmen, vissa mått-teoretiska antaganden behövs för att garantera de mängder vi använder, såsom värdefunktioner och Bellman operatör (definierad i bilaga C), är väl definierade. Detta ligger utanför tillämpningsområdet för vår tidning, och intresserade läsare hänvisas till Bertsekas och Shreve (1978) för detaljer. Sådana antaganden görs implicit i resten av vår tidning. Mach Learn (2011) 82: 399-443 419 använder MDP-lösningar såsom dynamisk programmering för att beräkna en optimal policy för den ungefärliga MDPM. Det är känt att (genom de olika simuleringslemmas i litteraturen såsom Kearns och Singh (2002) samt Lemma 9 i bilaga C) om övergången och belöning funktioner avM är nära de av M, den optimala policy avM kommer att vara nära-optimal i M. I modellbaserade RL algoritmer, därför är den största utmaningen i lärande ofta att lära sig den sanna MDP övergång och belöning funktioner. Strehl et al bygger vidare på Kakade (2003):s definition av urvalskomplexa prospektering. (2006a) formaliserar begreppet PAC-MDP som kan ses som en RL-analog till PAC-ramen för övervakat lärande. Här ses en RL-algoritm som en icke-stationär policy som tar åtgärder baserade på historia (inklusive tidigare besökta stater och fick belöningar) och den nuvarande staten. Antalet tidssteg under vilka denna icke-stationär politik inte är nära optimal i hela genomförandet kallas algoritmens urval komplexitet av prospektering (Kakade 2003 ). En algoritm kallas PAC-MDP om dess urval komplexitet är polynom i relevanta mängder, inklusive de parametrar som definierar beskrivningen komplexitet av MDP, med hög sannolikhet. Kärnan i alla befintliga modellbaserade PAC-MDP-algoritmer som Rmax (Brafman och Tennenholtz 2002; Kakade 2003) ligger tanken på att skilja mellan kända tillstånd där övergångsfördelning och belöningar exakt kan härledas från observerade övergångar-och okända tillstånd. En viktig iakttagelse är att om en klass av MDP kan vara KWIK-lärda, då finns det en Rmax-stil algoritm som är PAC-MDP för denna klass av MDPs. Teorem 3 formaliserar denna iakttagelse. Beviset (i bilaga C) är genom konstruktion av en PAC-MDP algoritm som kallas KWIK-Rmax som generaliserar Rmax från finita MDPs till godtyckliga MDPs. Beviset bygger på en form av simuleringen lemma (Lemma 9), som relaterar värdefunktion approximation fel till modell approximation fel, och på en generisk PAC-MDP teorem ges av Strehl et al. Europaparlamentets och rådets förordning (EU, Euratom) nr 966/2012 av den 25 oktober 2012 om finansiella regler för unionens allmänna budget och om upphävande av rådets förordning (EG, Euratom) nr 1605/2002 (EUT L 298, 26.10.2012, s. 1). 6 Definition 2 Rätta stat utrymme S, åtgärd utrymme A, och rabattfaktor γ. sedan provet komplexitet undersökning av KWIK-Rmax är Algoritmen KWIK-Rmax (Algoritm 3) bygger på två KWIK algoritmer, A T (med hjälp av parametrar T, δ T ) och A R (med hjälp av parametrar R, δ R ), för KWIK-lära MDP övergång och belöning funktioner, respektive, och upprätthåller en uppskattning av MDP kallas den empiriska kända state-action MDP (Strehl et al. 2006a )............................................................................................................... Uppskattningen skiljer mellan två typer av tillståndsaktioner: för tillståndsaktioner där både A T och A R kan göra giltiga förutsägelser måste förutsägelserna vara korrekta med hög sannolikhet (noggrannhetskravet för KWIK-algoritmer) och därmed deras dynamik är känd; för andra tillståndsaktioner kan deras övergångs- och belöningsfunktioner inte beräknas exakt och därför är de okända. Genom att tilldela den största möjliga belöningen (som är 1) till alla okända tillståndsåtgärder och låta dem självloop, uppmanas agenten att utforska dessa tillståndsåtgärder om inte sannolikheten för att nå dem är för liten. När sannolikheten för att nå okända stater är liten kan vi visa den giriga politikens nästan optimala karaktär. Eftersom antalet besök i en okänd tillståndsåtgärd är polynom i relevanta mängder (prov komplexitetskravet för KWIK algoritmer), antalet tidssteg algoritmen inte beter sig nästan optimalt är också en Beräkna en nära-optimal värdefunktion Q t avM sådan att Lär (2011) 82: 399-443 421 polynomial. Denna intuition är ursprungligen från Rmax (Brafman och Tennenholtz 2002) och prov-komplexitet bevis för Kakade (2003), och är också den grundläggande idén i vår PAC-MDP bevis i bilaga C. Några grottor är i ordning när det gäller praktiska frågor vid genomförandet av Algoritm 3: 1. Definitionerna av T ochR är begreppsmässiga snarare än operativa. För finita MDPs, kan man representeraT av en matris av storlek O (-) ochR av en vektor av storlek O (----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- För strukturerade MDP är det möjligt med mer kompakta representationer. Till exempel kan MDP för vissa linjära dynamiska system representeras av matriser av ändlig dimension (Sekter. 7.5 och 7.6) och faktoriserade MDP kan representeras av ett dynamiskt Bayes-nät (Sect. (se avsnitt 6. 7) 2. Utgångspunkten är följande: Det är onödigt att uppdatera T och R och kompilera Q t för varje steg t. Den kända tillståndsåtgärden MDPM (och därmed Q * M och Q t ) förblir oförändrad om inte någon okänd tillståndsåtgärd blir känd. Därför kan man endast uppdateraM och Q t när A T eller A R får nya prover i raderna 13 eller 16. 3. Vad är det som händer? Det är onödigt att beräkna Q t för alla (s, a). I själva verket räcker det att garantera att Q t är Denna typ av lokal planering kräver ofta mindre beräkning än global planering. 4. Vad är det som händer? Med tanke på den ungefärliga MDPM och nuvarande tillstånd s t, algoritmen beräknar en nära optimal åtgärd för s t. Detta steg kan göras effektivt med hjälp av dynamisk programmering för ändliga MDPs. I allmänhet är dock att göra detta att beräkna dyrt (Chow och Tsitsiklis 1989). Lyckligtvis har den senaste tidens framsteg i den ungefärliga lokala planeringen gjort det möjligt för storskaliga problem Kocsis och Szepesvári 2006. Efter att ha förklarat varför befintliga modeller för beräkningslärande, PAC och MB, inte är tillräckliga för urvalseffektiva förstärkningslärande i Sect. 7.3 De återstående underavsnitten behandlar olika underklasser av MDP och förenar de flesta befintliga PAC-MDP-algoritmer med hjälp av KWIK-ramverket som utvecklats i tidigare avsnitt. Avsnitt 7.4 anser ändliga MDPs utan att överväga generalisering över stater, medan Sekts. 7.5-7.7 visar hur generalisering kan kombineras med KWIK för att utnyttja strukturella antaganden för motsvarande MDP-klasser för att erhålla effektivare RL-algoritmer. Äntligen, Sect. 7.8 visar hur vi kan få en PAC-MDP-algoritm för faktoriserade MDP med okända faktoriseringsstrukturer genom att effektivisera fyra KWIK-algoritmer som vi har utvecklat, vilket resulterar i en ny algoritm som är betydligt bättre än det toppmoderna resultatet. I alla dessa fall fokuserar vi på att lära oss övergångsfunktionen och antar att belöningsfunktionen är känd. Tillägget till KWIK-lärande belöningsfunktioner är enkelt. Resultaten sammanfattas i tabell 1. För att förenkla utställningen och fokusera på tillämpningen av KWIK i MDP lärande, undviker vi direkt analys av hur man KWIK-lär övergångsfunktioner i termer av 1 avstånd i Sects. 7.5 och 7.6, enligt kraven i Theorem 3. Men de diskrepansfunktioner vi använder i dessa fall är båda polynomiskt likvärdiga med 1 avstånd. Mer information finns i originaltidningarna (Strehl och Littman 2008; Brunskill et al. 2009 )................................................................................................................ Med tanke på förhållandet mellan KWIK och PAC-MDP RL i föregående underavsnitt är en naturlig fråga huruvida de befintliga beräkningsmodellerna såsom PAC och MB är tillräckliga för MDP-inlärning för att förstärka lärandet. Vi visar att de i allmänhet inte är det. Argumentet mot PAC härrör från dess fördelningsantagande: PAC antar oberoende, identiskt fördelade prover, vilket uppenbarligen inte är sant i online RL utom ganska begränsade fall. Istället bestämmer agentens ändrade policy de prover den ser. Detta politiskt drivna urval av statliga åtgärder ses mycket lägligt i den kontradiktoriska situationen, som ligger utanför PAC:s räckvidd, men inom MB:s område. MB-algoritmer är dock inte nödvändigtvis kapabla att på begäran märka statliga åtgärder som kända eller okända, ett centralt krav för befintliga PAC-MDP-algoritmer. Till exempel, överväga en exponentiellt stor MDP där varje tillstånd motsvarar en konfiguration av n Booleska variabler och belöningar bestäms av en enda förbindelse över den nuvarande variabla konfigurationen. Mer specifikt finns det två åtgärder en 1, som vänder den högra delen, och en 2, som skiftar bitarna vänster. Om statens konfiguration uppfyller den okända förbindelsen, ger båda åtgärderna en belöning på 1, annars blir belöningen −1. Anta, för argumentets skull, övergångsfunktionen är känd. Man kan lära sig om belöningsfunktionen genom att besöka alla 2 n stater, men en MB algoritm som standard för att "falska" (c.f., Sect. 3.2) kan lära sig samarbeten med endast n + 1 misstag, så det är frestande att anta ett MB perspektiv för att lära sig belöningarna. Men detta kommer inte att översättas direkt till en PAC-MDP algoritm eftersom det inte finns någon grund för vägledning prospektering. När som helst, stater som faktiskt har upplevts som "falska" (-1 belöning) och de som aldrig har utforskats (okänd belöning) kan inte särskiljas. De är båda helt enkelt märkta "falska". Således kan agenten hamna återbesök ("utforska") samma "falska" stat om och om igen, förväntar sig en annan belöning. Man skulle kunna börja märka de stater som har utforskats, men detta är per definition en KWIK algoritm! I motsats till MB och PAC förkroppsligar KWIK de förutsättningar som är tillräckliga för modellens inlärningskomponent i en modellbaserad PAC-MDP-algoritm. KWIK-ramverket innehåller inga fördelningsantaganden och anger uttryckligen de kända och okända regionerna i stats- och insatsutrymmet. Som vi såg i Sect. 3.2 Detta begränsar de modeller som effektivt kan läras till en lämplig delmängd av dem som kan läras av MB, men vi kommer i de återstående underavsnitten att visa att denna uppsättning fortfarande omfattar ett stort antal naturliga och intressanta domäntyper från förstärkningslitteraturen. S, a)............................................................... När agenten för förstärkningslärande rör sig runt i statsrymden, observerar den övergångar mellan tillstånd och nästa tillstånd och måste förutsäga sannolikheten för övergångar som den ännu inte har observerat. I modellen-baserad inställning, en algoritm lär sig en kartläggning från storleken nm ingångsuppsättningen av state-action kombinationer till multinomial fördelningar över de nästa staterna via multinomial observationer. Således kan problemet lösas via inmatning partition över en uppsättning individuella sannolikheter lärt sig via tärningslärande. Den resulterande KWIK bundet är Denna metod är exakt vad som finns i de flesta prov-effektiva RL algoritmer i litteraturen (Kearns och Singh 2002; Brafman och Tennenholtz 2002; Kakade 2003; Strehl et al. 2006a )............................................................................................................... På senare tid har Szita och Szepesvári (2010) föreslagit en variant av Rmax och en förfinad analys som resulterar i ett linjärt beroende av n, vilket motsvarar den bästa tidigare begränsningen (c.f., Sect. 7.9), särskilt artikel 2.1 a, b, c, d, d, d, e, f, e, f, f, e, f, f, f, e, f, f, f, e, f, f, f, f, e, f, f, f, f, e, f, f, f, f, f, f, e, f, f, f, f, f, e, f, f, f, e, f, f, e, f, f, f, e, f, f, f, e, f, f, f, e, f, f, f, f, f, e, f, f, f, f, e, f, f, f, f, l, l, l, l, f, l, f, l, l, l, l, l, l, l, l, l, l, l, l, l, l, l, l, l, l, l, l, l, l, l, l, l, l, l, l, l, l, l, l, l, l, l, l, l. Vi noterar att en liknande idé kan tillämpas på MDPs med oändliga tillstånd och aktionsutrymmen, förutsatt att MDPs uppfyller den lokala modellering antagande. Intuitivt, beroendet av provtagning varje tillstånd-aktion m gånger i det finita fallet ersätts med ett krav på att samla in några m prover för varje åtgärd i varje partition av det utrymme som induceras av den lokala modellering antagande. KWIK kommer att lära sig denna typ av MDP är i allmänhet beroende av det minsta antalet partitioner (alias. Det täckande numret), snarare än. I många robotik- och styrtillämpningar har de system som manipuleras oändliga tillståndsutrymmen och aktionsutrymmen, men deras dynamik styrs av ett system med linjära ekvationer (se t.ex. Sontag 1998). Vår modellformulering är baserad på Strehl och Littman (2008), och skiljer sig något från Abbeel och Ng (2005). Här, S  på n S och A på A är tillstånd och åtgärdsutrymmen, respektive. Övergångsfunktionen T är en multivariat normalfördelning: där  ska: n S +n A → n är en basfunktion som tillfredsställer ∂(·, ·) ≤ 1, F  till n S ×n är en matris, σ 2 är något positivt tal, och I  till n S ×n S är identitetsmatrisen. Vi utgår från att vi har fått 2 och 2 men F är okänt. För sådana linjärt parameteriserade övergångsfunktioner, förväntan av varje komponent i nästa tillstånd är linjär i egenskap av den nuvarande tillståndsåtgärden, och koefficienterna motsvarar numren i motsvarande rader i F. Om vi definierar avvikelsen metriska i n S som 2 norm, då övergångsfunktionen för klassen linjärt parameteriserade MDPs kan KWIK-lärs via utgångskombination över n S tillståndskomponenter med α = 1/ ❌ n S, som var och en kan KWIK-läras genom bullriga linjär regression.  där μ τ (s)a  på n och τ (s)a på n×n är medelvärdet och kovariansmatrisen för den normala fördelningen för typåtgärdsparet (τ (s), a). Med andra ord fördelas förskjutningen av stater normalt. Vi antar antalet åtgärder, betecknade m =  på A, och antalet typer, betecknade n τ =  och {τ (s)  på S}, är båda ändliga. Ett exempel där sådan dynamik kan uppstå är robotnavigering över varierande terräng. Fördelningen av förskjutningen av robotens position efter att ha vidtagit en åtgärd (såsom sväng vänster eller gå framåt) beror på denna åtgärd samt typ av terräng (såsom sand, trä, eller is, etc.). I många verkliga tillämpningar är antalet typer ofta litet även om antalet stater kan vara astronomiskt stort eller till och med oändligt. Skriven offsetdynamik ger därför ett kompakt sätt att representera MDP. Fler motiv finns i Brunskill et al. (2009).................................................................. För varje typ av åtgärd (τ, a) kan komponenterna i μ τ a och τ a tolkas som observationsmedel. Till exempel, anta att vi har förvärvat ett urval övergång, (s, a, r, s ), sedan per definition för alla i = 1, 2,...., n. Därför kan vi bryta problemet med KWIK-lära offset innebär att använda inmatning partition över alla typer av åtgärder. För varje (τ, a) par förvandlas inlärning μ τ a till en av KWIK-inlärning medelvärdet av n slumpmässiga variabler via utdatakombination med hjälp av α = 1, som var och en kan lösas genom myntinlärning. 7 En liknande minskning kan tillämpas på KWIK-lära covariansmatrisen τ a. För att säkerställa den totala variansen mellan den sanna Gaussiska fördelningen, N (μ τ a, τ a ), och den uppskattade distributionen, N (μ τ,a, till τ,a ), är som mest, KWIK bundet är Utan förlust av generalitet, antar N =  tills i  på alla i och därmed  till = N n. Övergångsfunktionen räknas in i produkten av n övergångsfunktioner, en för varje tillståndsvariabel: Med andra ord, värdena för alla nästa tillstånd variabler är oberoende av varandra, beroende på den nuvarande staten åtgärd (s, a). Observera att man också kan definiera en DBN med "synkrona" kanter, som anger ett beroende mellan faktorvärden på samma gångsteg. För enkelhetens skull anser vi inte sådana beroenden i vår analys, men resultaten är lätta att utvidga till detta fall genom att (som mest) fördubbla antalet faktorer som betraktas som möjliga föräldrar (även om inte det faktiska antalet föräldrar för en given nod). Dessutom antar vi att fördelningen Med hjälp av de kvantiteter som definieras ovan, övergångsfunktionen kan skrivas om som En fördel med denna kortfattade representation är att, i stället för att representera den fullständiga villkorliga sannolikhetstabellen, T i (·  på s, a), som har N n m poster, behöver vi bara använda den mindre T i (·  på P (i), a), som har högst N D m poster. Om D n, kan vi uppnå en exponentiellt mer kompakt representation. Denna typ av övergångsfunktioner kan representeras som dynamiska Bayesianska nätverk eller DBNs (Dean och Kanazawa 1989). Här betraktar vi fallet där strukturen (P(i)) är känd a priori och visar hur man slappnar av detta antagande i Sect. 7,8. Belöningsfunktionen kan representeras på ett liknande sätt som summan av lokala belöningsfunktioner. Vi antar, för enkelhetens skull, att R(s, a) är känd och fokuserar på KWIK-lärande övergångsfunktionerna. Våra algoritmer och insikter gäller fortfarande när belöningsfunktionen är okänd. ) , där D, som tidigare, är den maximala in-grad av den sanna DBN. Vi kan konstruera en konceptuellt enklare algoritm för detta problem med hjälp av komponenter som introduceras i hela detta papper. Som helhet kan algoritmen ses som en KWIK-algoritm på fyra nivåer med en tvärprodukt högst upp för att bryta ned övergångarna för de separata komponenterna i faktorstatsrepresentationen. Var och en av dessa n individuella faktorövergångar lärs med hjälp av en separat kopia av den bullriga fackliga algoritmen. Inom var och en av dessa utförs en fackförening över Observera att vår bullriga fackkomponent är konceptuellt enklare, betydligt effektivare (k ln k vs. k 2 ln k beroende av k = n D ), och mer allmänt tillämplig än liknande förfarande som används av Strehl et al. (2007)............................................................................................. Således är vår förbättring exponentiellt i D och polynom i n. Preliminära studier visar att den nya algoritmen fungerar mycket bättre i praktiken ). De tidigare underavsnitten diskuterar hur man skapar modellbaserade PAC-MDP RL-algoritmer med hjälp av KWIK-algoritmer för olika MDP-underklasser. Även om modellbaserade algoritmer ofta har bättre urval komplexitet i praktiken, upprätthåller de vanligtvis en implicit modell av den okända MDP och måste upprepade gånger lösa denna ungefärliga MDP (t.ex. i KWIKRmax) för att få en värdefunktion eller policy för att vidta åtgärder. 9 Trots de senaste framstegen 8 Här räcker detta värde för att garantera att den kombinerade övergångsfördelningen skiljer sig från den verkliga övergångsfördelningen i termer av 1 - avstånd; se Li (2009) för ett bevis. 9 För finita MDPs är det möjligt att ersätta exakt planering med inkrementell planering (Strehl et al. 2006a), vilket är mycket effektivare. Mach Learn (2011) 82: 399-443 427 i ungefärlig planering i MDPs (se t.ex. Kocsis och Szepesvári 2006), att lösa MDPs är fortfarande en utmaning i allmänhet. Däremot lär sig modellfria algoritmer direkt optimala värdefunktioner, från vilka en girig politik lätt kan beräknas. Dessa algoritmer är därför mycket effektivare både när det gäller tid och rum. Den första modellfria PAC-MDP-algoritmen för finita MDPs, känd som fördröjd Q-learning (Strehl et al. 2006b (Strehl et al.) , 2009, är en variant av Q-learning som noggrant upprätthåller en optimistisk värdefunktion och tar giriga åtgärder i alla tidssteg. Algoritmen kräver endast (nm) utrymme komplexitet och O (ln m) per steg tid komplexitet för att uppnå ett urval komplexitet Õ(nm/ 4 (1 - γ ) 8 ), där n och m är antalet stater och åtgärder. Nyligen visades att beroendet av n är optimalt (Li 2009; Strehl et al. 2009 )................................................................................................................ Den bästa befintliga beräkningskomplexiteten är däremot O(n ln m) (Strehl et al. 2006a)................................................................ Trots de fina beräkningsfördelarna med modellfria algoritmer är dessa algoritmer tyvärr svårare att analysera. I ett nyligen utfört arbete av Li och Littman (2010) reduceras ett ändhorizonförstärkande inlärningsproblem till en serie av KWIK-regressionsproblem så att vi kan få en PAC-MDP modellfri RL-algoritm så länge de individuella KWIK-regressionsproblemen kan lösas. Det är dock fortfarande oklart hur man utformar en KWIK-baserad modellfri RL-algoritm i diskonterade problem utan att först omvandla den till en ändlighorizon. Vi beskrev KWIK ("vet vad den vet") modell för övervakat lärande, som identifierar och generaliserar en nyckelmodell lärande komponent som är gemensam för en klass av algoritmer för effektiv prospektering. Vi tillhandahöll algoritmer för en uppsättning grundläggande hypotes klasser ges deterministiska och bullriga observationer samt metoder för att komponera hypotes klasser för att skapa mer komplexa algoritmer. Ett exempel algoritm bestod av en fyra-nivå nedbrytning av en befintlig lärande algoritm från förstärkning-lärande litteratur. Genom att tillhandahålla en uppsättning exempelalgoritmer och kompositionsregler hoppas vi uppmuntra användningen av KWIK-algoritmer som en komponent i maskininlärningsprogram samt stimulera utvecklingen av nya algoritmer. En sådan inriktning har gett lovande resultat. Brunskill m.fl. (2009) framgångsrikt tillämpat algoritmen i Sect. 7.6 till ett robotnavigeringsproblem. Mer nyligen, en associativ förstärkning inlärningsalgoritm som motiveras av KWIK algoritm av Walsh et al. (2009) har visat uppmuntrande resultat i en utmanande online nyhetsartikel rekommendation problem om Yahoo! Framsida. Studien i denna uppsats lyfter fram flera viktiga teoretiska riktningar. Vi räknar upp sju av dem för att avsluta dokumentet. För det första vill vi utvidga KWIK-ramen till det "ogenomförbara" fallet genom att ta bort antagandet att hypotesen klass H innehåller den sanna hypotesen h *. Detta kallas ibland agnostiskt lärande. Vi kan tillhandahålla en generell KWIK-algoritm när H är ändligt, vilket resulterar i en KWIK bundet av O( på H), 10, men det förblir öppet hur man hanterar ogenomförbara målfunktioner med oändligt stora hypotesklasser. För det andra är det inte klart hur man karakteriserar dimension, dim(H), av en hypotes klass H på ett sätt som kan användas för att härleda KWIK gränser. För ändliga hypotesklasser, 10 Denna gräns kan uppnås genom en variation av uppräkning. I denna variant, på är den uppsättning hypoteser som har varit inom -noggrannhet av de observerade utgångarna, och algoritmen returnerar  och om intervallet för L är större än 2 och annars den returnerar mittpunkten av denna uppsättning. Mach Learn (2011) 82: 399-443 Kardinality of H är ett rimligt val, som används i uppräkning, men en mer allmän definition behövs för oändliga hypotesklasser. Liknande insatser i koncept-lärande litteratur (Angluin 2004) kan ge användbara insikter för detta problem. För det tredje är det viktigt att hitta ett allmänt system för att ta en KWIK-algoritm för en deterministisk klass och uppdatera den för att fungera i närvaro av buller. I de n-dimensionella linjära funktionernas inlärningsproblem har vi sett att KWIK-bandet växer från O(n) till Õ(n 3 ) av algoritmerna Strehl och Littman (2008) och Walsh et al. (2009).................................................................. I allmänhet förväntar vi oss att KWIK kommer att öka betydligt när buller förekommer om inte miljön är omedveten (Cesa-Bianchi et al. 2009 )................................................................................................................ För det fjärde vill vi undersöka förhållandet mellan KWIK och andra inlärningsmodeller online. Till exempel, den selektiva provtagning och etikett effektiva förutsägelse modeller delar viss likhet med KWIK och vi kanske kan ändra algoritmer i dessa ramar för att uppfylla KWIK kriterier. För det femte behandlas endast linjära approximationsarkitekturer i detta dokument. Det är möjligt att icke-linjära arkitekturer kan föredras i vissa fall med tanke på deras större representationskraft. En vanlig metod för att införa icke-linjäritet i praktiken är att använda en funktion som är linjär i icke-linjära funktioner, men en direkt analys av icke-linjära arkitekturer i KWIK kan vara användbar. Slutligen är det av teoretiskt såväl som praktiskt intresse att använda tidigare information i KWIK. Tidigare information kan till exempel vara en tidigare distribution av h *  på H. Helst en KWIK algoritm som använder sig av sådan tidigare information bör fortfarande uppfylla kraven i Definition 1, men kan njuta av en betydligt mindre KWIK bunden genom att utnyttja en informativ tidigare. Detta material bygger delvis på arbete som stöds av National Science Foundation under Grant No. NSF IIS-0325281 och ett kontrakt från DARPA IPTO. Vi tackar Roni Khardon och de anonyma recensenterna för värdefulla kommentarer som avsevärt har förbättrat ett tidigare utkast till detta dokument. Vi tackar också István Szita för många användbara diskussioner, och Mark Kroon för att påpeka ett misstag i vår ursprungliga presentation av algoritmen i Sect. 7,8.
Vet vad det vet (KWIK) REF är en inlärningsram för effektivt modellinlärning.
Knows what it knows: a framework for self-aware learning
{'venue': 'Machine Learning', 'journal': 'Machine Learning', 'mag_field_of_study': ['Computer Science']}