De flesta ramverk för lärare och studenter som bygger på kunskapsdestillation (KD) är beroende av en stark kongruent begränsning på instansnivå. De ignorerar dock vanligtvis sambandet mellan flera fall, vilket också är värdefullt för kunskapsöverföring. I detta arbete föreslår vi en ny ram som kallas korrelationskongruens för kunskapsdestillering (CCKD), som inte bara överför information på instansnivå utan också korrelationen mellan instanser. Dessutom föreslås en generaliserad kärnmetod baserad på Taylor-seriens expansion för att bättre fånga upp korrelationen mellan instanser. Empiriska experiment och ablationsstudier av bildklassificeringsuppgifter (inklusive CIFAR-100, ImageNet-1K) och metriska inlärningsuppgifter (inklusive ReID och Face Recognition) visar att den föreslagna CCKD väsentligt överträffar den ursprungliga KD och andra SOTA KD-baserade metoder. CCKD kan enkelt användas i majoriteten av ramverket för lärare och studenter som KD och tipsbaserade inlärningsmetoder.
I REF föreslås Taylor serieexpansion för att bättre fånga korrelationen mellan flera instanser.
Correlation Congruence for Knowledge Distillation
{'venue': '2019 IEEE/CVF International Conference on Computer Vision (ICCV)', 'journal': '2019 IEEE/CVF International Conference on Computer Vision (ICCV)', 'mag_field_of_study': ['Computer Science']}