Att bygga mycket icke-linjära och icke-parametriska modeller är centralt för flera toppmoderna maskininlärningssystem. Kernelmetoder utgör en viktig klass av tekniker som inducerar en reproducerande kärna Hilbert space (RKHS) för att härleda icke-linjära modeller genom konstruktion av likhetsfunktioner från data. Dessa metoder föredras särskilt i de fall där utbildningsuppgifternas storlek är begränsad och där det finns förkunskaper om uppgifternas likheter. Trots deras användbarhet begränsas de av den beräkningsmässiga komplexiteten och deras oförmåga att stödja end-to-end-inlärning med ett uppgiftsspecifikt mål. Å andra sidan har djupa neurala nätverk blivit den de facto lösningen för end-to-end inference i flera lärande paradigm. I detta papper utforskar vi idén att använda djupa arkitekturer för att utföra kärnmaskinoptimering, för både beräkningseffektivitet och end-to-end slutsatser. I detta syfte utvecklar vi ramverket för djupkärnans maskinoptimering, som skapar en ensemble av täta inbäddningar med hjälp av Nyström-kärnan approximationer och använder djupinlärning för att generera uppgiftsspecifika representationer genom fusion av inbäddningarna. Intuitivt tränas nätverkets filter för att samla information från en ensemble av linjära subrymder i RKHS. Dessutom inför vi en legalisering av kärnans avhopp för att göra det möjligt att förbättra konvergensen i utbildningen. Slutligen utökar vi detta ramverk till flera kärnfall, genom att koppla ihop ett globalt fusionslager med förtränade djupkärnmaskiner för var och en av grundkärnorna. Med hjälp av fallstudier med begränsade utbildningsdata, och brist på explicita funktioner källor, visar vi effektiviteten i vårt ramverk jämfört med konventionella modeller inferencing tekniker. Index Terms-Deep neural networks (DNNs), kärnmetoder, flerkärnig inlärning (MKL), Nyström approximation.
Vi lägger märke till att REF nyligen föreslog ett ramverk för djupkärnmaskinoptimering (DKMO) som bäddar in kärnmatriser med hjälp av Nyström-kärnan approximationer och lär sig uppgiftsspecifika representationer genom fusion av flera inbäddningar med hjälp av djupinlärning.
Optimizing Kernel Machines Using Deep Learning
{'venue': 'IEEE Transactions on Neural Networks and Learning Systems', 'journal': 'IEEE Transactions on Neural Networks and Learning Systems', 'mag_field_of_study': ['Mathematics', 'Computer Science', 'Medicine']}