Medan CNN har visat enorma framsteg i många visionsproblem, lider de av ett beroende av monumentala mängder märkta utbildningsdata. Å andra sidan, ordbok lärande inte skala till storleken av problem som CNNs kan hantera, trots att vara mycket effektiv på låg nivå vision uppgifter som denoiserande och inpainting. På senare tid har intresset ökat för att anpassa ordlistans inlärningsmetoder för övervakade uppgifter som klassificering och inversa problem. Vi föreslår två nya nätverkslager som bygger på lexikoninlärning: ett glest faktoriseringsskikt och ett konvolutionellt glest faktoriseringsskikt, analogt med fullt sammankopplade respektive konvolutionella skikt. Med hjälp av våra härledningar kan dessa lager släppas in i befintliga CNNs, tränas tillsammans i ett end-to-end mode med back-förökning, och utnyttja semisupervision på sätt klassiska CNNs inte. Vi jämför experimentellt nätverk med dessa två nya skikt mot ett CNN. Våra resultat visar att nätverk med något av de glesa faktoriseringsskikten kan överträffa klassiska CNN när övervakade data är få. De visar också prestandaförbättringar i vissa uppgifter jämfört med CNN utan glesa faktorisering lager med samma exakta antal parametrar.
I REF föreslår författarna två nätverksskikt som bygger på ordboksinlärning för att utföra sparsamt representationsinlärning, direkt inom nätverket.
Sparse Factorization Layers for Neural Networks with Limited Supervision
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}