Gaussiska processer (GP) är ett generiskt modelleringsverktyg för övervakad inlärning. Även om de framgångsrikt har tillämpats på stora datamängder hindras deras användning i säkerhetskritiska tillämpningar av bristen på goda prestandagarantier. I detta syfte föreslår vi en metod för att lära GPs och deras glesa approximationer genom att direkt optimera en PAC-bayesian bunden på deras generalisering prestanda, i stället för att maximera marginalsannolikheten. Förutom dess teoretiska lockelse finner vi i vår utvärdering att vår inlärningsmetod är robust och ger betydligt bättre generaliseringsgarantier än andra vanliga GP-strategier på flera regressionsriktvärden. Gaussian Processes (GPs) är en kraftfull modelleringsmetod på grund av sin icke-parametriska natur [1]. Även om GPs är probabilistiska modeller och därför kommer utrustade med ett inneboende mått av osäkerhet, denna osäkerhet tillåter inte slutsatser om deras prestanda på tidigare osynliga testdata. Till exempel observerar man ofta överutrustning om ett stort antal hyperparametrar justeras med hjälp av marginalsannolik optimering [2]. Medan en helt Bayesian tillvägagångssätt, d.v.s. marginalisera ut hyperparametrarna, minskar denna risk, medför det en oöverkomlig körtid eftersom den prediktiva fördelningen inte längre är analytiskt dragbar. Det innebär inte heller några säkerhetsgarantier utanför boxen. I detta arbete föreslår vi ett nytt utbildningsmål för GP-modeller, vilket gör det möjligt för oss att ge rigorösa och kvantitativt goda resultatgarantier för framtida prognoser. Sådana rigorösa garantier utvecklas inom statistisk inlärningsteori (t.ex. [3] )............................................................................................................................ Men eftersom de klassiska enhetliga inlärningsgränserna är meningslösa för expressiva modeller som djupa neurala nät [4] (som t.ex. VC-dimensionen överstiger utbildningsstorleken) och GP eller icke-parametriska metoder i allmänhet, kan sådana garantier inte användas för att lära sig dessa modeller. Istället är gemensamma optimeringssystem (regulariserade) empirisk riskminimering (ERM) [4, 3], maximal sannolikhet (MLE) [1], eller variationsmässig inferens (VI) [5, 6]. Å andra sidan har bättre icke-uniforma utbildningsgarantier utvecklats inom ramen för PAC-bayesian [7, 8, 9] (Sect. 2 ) och 2......................................................................................................... De är särskilt anpassade till probabilistiska metoder som GPs och kan ge snäva generaliseringsgränser, som observerats för GP klassificering [10], probabilistiska SVMs [11, 12], linjära klassificeringar [13] eller stokastiska NNs [14]. De flesta tidigare verk använde PAC-bayesianska gränser endast för den slutliga utvärderingen av generaliseringen prestanda, medan lärande genom att optimera en PAC-bayesian gräns har knappt utforskats [13, 14]. Detta arbete, för första gången, undersöker användningen av PAC-bayesian gränser (a) för GP utbildning och (b) i regression inställning. Specifikt föreslår vi att lära sig fullständig och sparsam GP prediktorer Q direkt genom att minimera en PAC-bayesian övre gräns B(Q) från Eq. (5) om prediktorns verkliga framtida risk R(Q) som a * https://www.bosch-ai.com
REF utvecklar en ny SGP-algoritm genom att optimera en PAC-Bayes bunden.
Learning Gaussian Processes by Minimizing PAC-Bayesian Generalization Bounds
{'venue': 'Advances in Neural Information Processing Systems 31 (Proceedings of the NeurIPS Conference 2018), https://papers.nips.cc/paper/7594-learning-gaussian-processes-by-minimizing-pac-bayesian-generalization-bounds', 'journal': None, 'mag_field_of_study': ['Computer Science', 'Mathematics']}