Vi utforskar effekten av att införa tidigare information i den mellanliggande nivån av djupt övervakade neurala nätverk för en inlärning uppgift som alla svart-box state-of-the-art maskininlärning algoritmer testat har misslyckats med att lära sig. Vi motiverar vårt arbete utifrån hypotesen att det finns ett optimeringshinder i karaktären av sådana uppgifter, och att människor lär sig användbara mellanliggande begrepp från andra individer via en form av handledning eller vägledning med hjälp av en läroplan. Experimenten vi har utfört ger positiva bevis till förmån för denna hypotes. I våra experiment tränas en tvådelad MLP-arkitektur på ett dataset där varje bildingång innehåller tre figurer, och den binära målklassen är 1 om alla tre har samma form. Black-box maskininlärning algoritmer fick bara chansen på denna uppgift. Standard djupövervakade neurala nätverk misslyckades också. Genom att använda en särskild struktur och vägleda eleven genom att tillhandahålla mellanliggande mål i form av mellanliggande begrepp (närvaron av varje objekt) gör det dock möjligt att spika upp uppgiften. Mycket bättre än slumpen men ofullkomliga resultat uppnås också genom att utforska arkitektur och optimeringsvarianter, pekar mot en svår optimering uppgift. Vi antar att inlärningssvårigheter beror på sammansättningen av två mycket icke-linjära uppgifter. Våra resultat stämmer också överens med hypoteser om kulturellt lärande som inspirerats av observationer av effektiva lokala minima (eventuellt på grund av dålig konditionering och utbildningsförfarandet att inte kunna undkomma vad som verkar som ett lokalt minimum). Nyckelord: Deep Learning, Neural Networks, Optimization, Evolution of Culture, Curriculum Learning, Training with Hints Det finns ett nyligen utvecklat intresse för olika vetenskapsområden för kulturellt lärande (Henrich och McElreath, 2003) och hur grupper av individer som utbyter information kan lära sig på sätt som är överlägsna det individuella lärandet. Detta framgår också av framväxten av nya forskningsområden som "Social neurovetenskap". Att lära av andra aktörer i en miljö genom kulturell kunskapsöverföring med en peer-to-peer-kommunikation är ett effektivt och naturligt sätt att förvärva eller sprida gemensam kunskap. Den mest populära uppfattningen om hur informationen överförs mellan individer är att bitar av information överförs av små enheter, kallade memes, som delar vissa egenskaper hos gener, såsom själveplikering, mutation och respons på selektiva tryck (Dawkins, 1976 Denna uppsats är baserad på hypotesen (som vidareutvecklas i Bengio (2013a)) att mänsklig kultur och idéutvecklingen har varit avgörande för att motverka en optimeringsfråga: denna svårighet skulle annars göra det svårt för mänskliga hjärnor att fånga kunskap på hög nivå i världen utan hjälp av andra utbildade människor. I detta papper maskininlärning experiment används för att undersöka vissa delar av denna hypotes genom att söka svar på följande frågor: Finns det maskininlärning uppgifter som är i sig svårt för en ensam lärande agent men som kan bli mycket lätt när mellanliggande begrepp tillhandahålls av en annan agent som ytterligare mellanliggande lärande ledtrådar, i andan av Curriculum Learning (Bengio et al., 2009b)? Vad är det som gör det svårare att lära sig sådant? Kan specifika initialvärden av neurala nätverksparametrar ge framgång när slumpmässig initiering ger fullständigt misslyckande? Är det möjligt att bekräfta att problemet är ett optimeringsproblem eller med ett legaliseringsproblem? Dessa är de frågor som diskuteras (om inte helt behandlas) här, som relaterar till följande bredare fråga: hur kan människor (och eventuellt en dag, maskiner) lära sig komplexa begrepp? I detta papper, resultat av olika maskininlärning algoritmer på en konstgjord inlärning uppgift som omfattar binära 64×64 bilder presenteras. I den uppgiften innehåller varje bild i datasetet 3 Pentomino tetris sprites (enkla former). Uppgiften är att räkna ut om alla figurer i bilden är samma eller om det finns olika figur former i bilden. Flera toppmoderna maskininlärningsalgoritmer har testats och ingen av dem kunde prestera bättre än en slumpmässig prediktor på testuppsättningen. Icke desto mindre genom att ge tips om de mellanliggande begreppen (närvaron och placeringen av vissa sprite klasser), problemet kan lätt lösas där samma-arkitektur neurala nätverk utan de mellanliggande begreppen vägledning misslyckas. Förvånansvärt nog misslyckades våra försök att lösa detta problem med oövervakade förutbildningsalgoritmer med att lösa detta problem. Men med specifika variationer i nätverksarkitekturen eller utbildningsproceduren kan man konstatera att man kan göra en stor buckla i problemet. För att visa effekten av mellannivå vägledning, experimenterade vi med en två-gradig neurala nätverk, med övervakad förutbildning av den första delen för att känna igen kategorin av sprites oberoende av deras orientering och skala, på olika platser, medan den andra delen lär sig från utgången av den första delen och förutspår den binära uppgiften av intresse. Syftet med detta dokument är inte att föreslå en ny inlärningsalgoritm eller arkitektur, utan snarare att förfina vår förståelse av inlärningssvårigheterna i samband med sammansatta uppgifter (här en logisk formel som består av upptäckt av objektklasser), särskilt de utbildningssvårigheter som är förknippade med djupa neurala nätverk. Resultaten ger också empiriska bevis till förmån för några av de hypoteser från Bengio (2013a), som diskuteras nedan, samt införa en särskild form av läroplanslärande (Bengio et al., 2009b). Att bygga svåra AI-problem har en lång historia inom datavetenskap. Särskilt hårda AI-problem har studerats för att skapa CAPTCHA:s som är lätta att lösa för människor, men svåra att lösa för maskiner (Von Ahn et al., 2003). I detta papper undersöker vi ett svårt problem för de off-the-shälf Black-box maskin lärande algoritmer. Denna förordning träder i kraft den tjugonde dagen efter det att den har offentliggjorts i Europeiska unionens officiella tidning.
Fortsatt tillämpning av förkunskaper på lärande och optimering, Gülçehre och Bengio visade att sämre-än-chans prestanda för vissa maskininlärning algoritmer kan förbättras genom lärande med tips, nämligen vägledning med hjälp av en läroplan REF.
Knowledge Matters: Importance of Prior Information for Optimization
{'venue': 'ICLR', 'journal': 'CoRR', 'mag_field_of_study': ['Computer Science', 'Mathematics']}