I detta dokument presenterar vi en ny och allmän nätverksstruktur för att påskynda slutledningsprocessen av konvolutionella neurala nätverk, som är mer komplicerat i nätverksstruktur men ändå med mindre inference komplexitet. Kärnidén är att utrusta varje original konvolutionsskikt med ett annat lågkostnadssamarbetsskikt (LCCL), och den elementvisa multiplikationen av ReLU-utgångarna i dessa två parallella skikt ger den lagervisa uteffekten. Det kombinerade skiktet är potentiellt mer discriminativt än det ursprungliga konvolutionslagret, och dess slutsats är snabbare av två skäl: 1) nollcellerna i LCCL-funktionskartorna kommer att förbli noll efter elementvis multiplikation, och därmed är det säkert att hoppa över beräkningen av motsvarande högkostnadskonvolution i det ursprungliga konvolutionslagret; 2) LCCL är mycket snabbt om det genomförs som en 1 × 1 konvolution eller endast ett enda filter som delas av alla kanaler. Omfattande experiment på referensvärdena CIFAR-10, CIFAR-100 och ILSCRC-2012 visar att vår föreslagna nätverksstruktur kan påskynda inferensprocessen med i genomsnitt 32% med försumbar prestandaminskning.
I REF lades ytterligare ett lågkostnadssamarbetsskikt (LCCL) till för att förutsäga positionerna för nollneuroner efter ReLU.
More is Less: A More Complicated Network with Less Inference Complexity
{'venue': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}