Deep core learning kombinerar den icke-parametriska flexibiliteten hos kärnmetoder med de induktiva fördomarna hos djuplärande arkitekturer. Vi föreslår en ny inlärningsmodell för djupa kärnan och en stokastisk variantell inferensprocedur som generaliserar inlärningsmetoder för djupa kärnan för att möjliggöra klassificering, lärande med flera arbetsuppgifter, strukturer för additiv kovarians och stokastisk gradientträning. Specifikt tillämpar vi additiva baskärnor för undergrupper av utdatafunktioner från djupa neurala arkitekturer, och lär oss gemensamt parametrarna för baskärnorna och det djupa nätverket genom en Gaussisk process marginell sannolikhetsmål. Inom denna ram får vi en effektiv form av stokastisk variationsinferens som utnyttjar lokal kärninterpolering, inducerande punkter och struktur som utnyttjar algebra. Vi visar förbättrad prestanda över fristående djupa nätverk, SVMs, och state of the art skalbara Gaussian processer på flera klassificeringsriktmärken, inklusive ett flygbolag fördröjning dataset med 6 miljoner utbildningspoäng, CIFAR, och ImageNet.
Till exempel, djupa kärnan lärande REF b; AlShedivat et al., 2016) kombinerar djupa neurala nätverk med Gaussiska processer om klassificering och regressionsproblem.
Stochastic Variational Deep Kernel Learning
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}