Under de senaste åren har djupa neurala nätverk (DNN) uppnått aldrig tidigare skådade prestanda i många lågnivåseende uppgifter. De senaste resultaten uppnås dock vanligtvis genom mycket djupa nätverk, som kan nå tiotals lager med tiotals miljoner parametrar. För att DNN ska kunna genomföras på plattformar med begränsade resurser är det nödvändigt att försvaga avvägningen mellan prestanda och effektivitet. I detta dokument föreslår vi en ny aktiveringsenhet, som är särskilt lämplig för problem med bildrenovering. I motsats till de utbredda aktiveringsenheterna per pixel, som Re-LUs och sigmoider, implementerar vår enhet en inlärningsbar icke-linjär funktion med rumsliga anslutningar. Detta gör det möjligt för nätet att fånga mycket mer komplexa funktioner, vilket kräver ett betydligt mindre antal lager för att nå samma prestanda. Vi illustrerar effektiviteten hos våra enheter genom experiment med toppmoderna nät för denoisering, de-utbildning och superupplösning, som redan anses vara mycket små. Med vårt tillvägagångssätt kan vi ytterligare minska dessa modeller med nästan 50 % utan att försämra prestandan.
Ett anmärkningsvärt exempel är den nyligen införda xUnit REF-modulen, som är en inlärbar icke-linjär funktion med rumsliga anslutningar.
xUnit: Learning a Spatial Activation Function for Efficient Image Restoration
{'venue': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'journal': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'mag_field_of_study': ['Computer Science']}