I detta dokument föreslår vi en ny konvolutionell neurala nätverk (CNN) struktur för allmän-purpose multi-task learning (MTL), som möjliggör automatisk funktionssammanslagning på varje lager från olika uppgifter. Detta är i motsats till de mest använda MTL CNN strukturer som empiriskt eller heuritiskt delar funktioner på vissa specifika lager (t.ex. dela alla funktioner utom det sista konvolutionsskiktet). Det föreslagna systemet för att sammanjämka befintliga CNN-komponenter på ett nytt sätt, med tydlig matematisk tolkningsbarhet som diskriminerande dimensionalitetsminskning, som kallas Neural Discriminative Dimensional Reduction (NDDR). Vi sammanför först funktioner med samma rumsliga upplösning från olika uppgifter beroende på deras kanaldimension. Sedan visar vi att den diskriminativa dimensionalitetsminskningen kan uppfyllas med 1 × 1 Konvolution, Batch Normalisering och Viktminskning i ett CNN. Användningen av befintliga CNN-komponenter säkerställer att det föreslagna NDDR-skiktet är heltäckande och extensivt i förhållande till olika toppmoderna CNN-arkitekturer på ett "plug-andplay"-sätt. Den detaljerade ablationsanalysen visar att det föreslagna NDDR-skiktet är lätt att träna och även robust mot olika hyperparametrar. Experiment på olika uppgiftsuppsättningar med olika basnätverksarkitekturer visar den lovande prestandan och önskvärda generaliseringen av vår föreslagna metod. Koden för vårt dokument finns på https://github.com/etanygao/NDDR-CNN.
NDDR-CNN REF använder särskiljande dimensionalitetsreduktion för säkringsfunktioner från parallella tensorer.
NDDR-CNN: Layerwise Feature Fusing in Multi-Task CNNs by Neural Discriminative Dimensionality Reduction
{'venue': '2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}