Den nuvarande fasen av maskininlärning kännetecknas av övervakade inlärningsalgoritmer som bygger på stora uppsättningar märkta exempel (n → ∞). Nästa fas är sannolikt att fokusera på algoritmer som kan lära sig från mycket få märkta exempel (n → 1), som människor verkar kunna göra. Vi föreslår en strategi för detta problem och beskriver den underliggande teorin, baserad på den oövervakade, automatiska inlärningen av en "bra" representation för övervakad inlärning, som kännetecknas av små urval komplexitet. Vi betraktar fallet med visuellt objektigenkänning, även om teorin även gäller andra domäner som t.ex. Tala. Utgångspunkten är antagandet, som i vissa fall har bevisats, att bildrepresentationer som är invarianta i fråga om översättning, skalning och andra omvandlingar avsevärt kan minska urvalets komplexitet i lärandet. Vi bevisar att en invariant och selektiv signatur kan beräknas för varje bild eller bild patch: invariansen kan vara exakt i fallet med gruppomvandlingar och ungefärlig under icke-grupp transformationer. En modul som utför filtrering och poolning, liksom de enkla och komplexa celler som beskrivs av Hubel och Wiesel, kan beräkna sådan signatur. Teorin erbjuder nya oövervakade inlärningsalgoritmer för "djupa" arkitekturer för bild- och taligenkänning. Vi antar att det huvudsakliga beräkningsmålet för ventralströmmen av visuell cortex är att ge en hierarkisk representation av nya objekt/bilder som är invarianta till transformationer, stabil, och selektiv för erkännande-och visa
REF visar att en invariant och selektiv (när det gäller en grupp) signatur av en bild kan erhållas genom sammanslagning.
Unsupervised learning of invariant representations
{'venue': 'Theor. Comput. Sci.', 'journal': 'Theor. Comput. Sci.', 'mag_field_of_study': ['Mathematics', 'Computer Science']}