Abstrakt. Vi introducerar ett Saliency-baserat distorsionsskikt för konvolutionella neurala nätverk som hjälper till att förbättra den rumsliga provtagningen av ingångsdata för en given uppgift. Vårt differentierade lager kan läggas till som ett förbearbetningsblock till befintliga aktivitetsnätverk och tränas helt och hållet på ett heltäckande sätt. Effekten av lagret är att effektivt uppskatta hur man tar prover från de ursprungliga uppgifterna för att öka aktivitetsprestandan. Till exempel för en bildklassificeringsuppgift där de ursprungliga uppgifterna kan variera i storlek upp till flera megapixlar, men där de önskade inmatningsbilderna till aktivitetsnätverket är mycket mindre, lär sig vårt lager hur man bäst tar prover från de underliggande högupplösta data på ett sätt som bevarar uppgiftsrelevant information bättre än enhetlig nedsampling. Detta har effekten av att skapa förvrängda, karikatyrliknande mellanbilder, där idiosynkratiska delar av bilden som förbättrar uppgiftens prestanda zoomas och överdrivs. Till skillnad från alternativa tillvägagångssätt som rumsliga transformatornätverk, är vårt föreslagna skikt inspirerat av bildhållbarhet, som beräknas effektivt från enhetligt nedsamlade data, och degraderas graciöst till en enhetlig provtagningsstrategi under osäkerhet. Vi använder vårt lager för att förbättra befintliga nätverk för de uppgifter som mänskliga ögonuppskattning och finkornig objektklassificering. Kod för vår metod finns på: http://github.com/recasens/Saliency-Sampler.
På samma sätt föreslår REF ett differentierat saliency-baserat distorsionsskikt till rumsligt urval av indata med tanke på en uppgift.
Learning to Zoom: a Saliency-Based Sampling Layer for Neural Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}