Knowledge Destillation (KD) har använts i bildklassificeringen för modellkomprimering. Men sällsynta studier tillämpar denna teknik på enstegs objektdetektorer. Fokalförlust visar att de ackumulerade felen i lättklassade prover dominerar den totala förlusten i utbildningsprocessen. Detta problem uppstår också vid användning av KD i detektionsuppgiften. För KD är de lärardefinierade hårda proven mycket viktigare än någon annan. Vi föreslår ADL att ta itu med denna fråga genom att anpassa sig efter lärarens loggningar, med mer uppmärksamhet fäst på två typer av hårda prover: svårlärda prover förutsagda av lärare med låg säkerhet och svår-till-mimiska prover med ett stort gap mellan lärarens och elevens förutsägelse. ADL förstorar destillationsförlusten för svårlärda och svårsmälta prover och minskar destillationsförlusten för de dominerande enkla proven, vilket gör det möjligt för destillationen att arbeta med enstegsdetektorn första gången, även om studenten och läraren är identiska. Dessutom är ADL effektivt i både övervakad inställning och semi-övervakad inställning, även när de märkta data och omärkta data är från olika distributioner. Vid destillation på omärkta data uppnår ADL bättre prestanda än befintlig datadestillation som helt enkelt använder hårda mål, vilket gör att studentdetektorn överträffar sin lärare. På COCO databasen, halvövervakad adaptiv destillation (SAD) gör en student detektor med en ryggrad av ResNet-50 överträffar sin lärare med en ryggrad av ResNet-101, medan studenten har hälften av lärarens beräkning komplexitet. Koden finns tillgänglig på https://github.com/Tangshitao/Semiövervakad-Adaptive-Destillation.
Adaptiv destillationsförlust (ADL) föreslogs i REF för enstegsdetektorer i kunskapsdestillationsinställningen.
Learning Efficient Detector with Semi-supervised Adaptive Distillation
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}