I detta dokument undersöker vi strategin för kunskapsdestillering för att utbilda små semantiska segmenteringsnätverk genom att använda sig av stora nätverk. Vi utgår från det enkla systemet, pixelvis destillation, som tillämpar det destillationssystem som antagits för bildklassificering och utför kunskapsdestillation för varje pixel separat. Vi föreslår vidare att destillera den strukturerade kunskapen från stora nätverk till små nätverk, vilket motiveras av att semantisk segmentering är ett strukturerat förutsägelseproblem. Vi studerar två strukturerade destillationssystem: (i) parvis destillation som destillerar parvisa likheter, och (ii) holistisk destillation som använder GAN för att destillera holistisk kunskap. Effektiviteten i vår kunskapsdestillering visar sig genom omfattande experiment på tre scentolkade datauppsättningar: Cityscapes, Camvid och ADE20K.
I detta dokument använde vi den teknik för kunskapsdestillering som infördes i REF till vår strukturerade konsekvensförlust.
Structured Knowledge Distillation for Semantic Segmentation
{'venue': '2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}