Abstract-Parsimony, inklusive gleshet och låg rang, har visat sig framgångsrikt modellera data i många maskininlärning och signalbehandling uppgifter. Traditionellt, sådana modellering metoder bygger på en iterativ algoritm som minimerar en objektiv funktion med parsimony-främjande termer. Den inneboende sekventiella strukturen och databeroende komplexiteten och latensen hos iterativ optimering utgör en stor begränsning i många tillämpningar som kräver realtidsprestanda eller omfattande data. En annan begränsning som dessa modelleringsmetoder stöter på är svårigheten att inkludera dem i olika inlärningsscenarier. I detta arbete, föreslår vi att flytta betoningen från modellen till jakt algoritm, och utveckla en process-centrerad syn på parsimonisk modellering, där en inlärd deterministisk fast-komplexitet jaktprocess används i stället för iterativ optimering. Vi visar ett principfast sätt att konstruera lärbara processarkitekturer för strukturerade glesa och robusta modeller med låg rang, härledda från iteration av proximala nedstigningsalgoritmer. Dessa arkitekturer lär sig att uppskatta den exakta parsimoniska representationen på en bråkdel av komplexiteten hos standardoptimeringsmetoderna. Vi visar också att lämpliga utbildningssystem gör det möjligt att naturligt utvidga parsimoniska modeller till diskriminerande miljöer. Toppmoderna resultat demonstreras på flera utmanande problem i bild- och ljudbehandling med flera storleksordningar speed-up jämfört med de exakta optimeringsalgoritmerna.
Liknande åsikter antogs i REF för att utveckla en algoritm med fast komplexitet för att lösa strukturerade glesa och robusta modeller med låg rang.
Learning Efficient Sparse and Low Rank Models
{'venue': 'IEEE Transactions on Pattern Analysis and Machine Intelligence', 'journal': 'IEEE Transactions on Pattern Analysis and Machine Intelligence', 'mag_field_of_study': ['Computer Science', 'Medicine', 'Mathematics']}