Djupa konvolutionella neurala nätverk fortsätter att avancera state-of-the-art inom många områden när de växer större och mer komplexa. Det har konstaterats att många av parametrarna i ett stort nätverk är överflödiga, vilket gör det möjligt att lära sig ett mindre nätverk som efterliknar utdata från det stora nätverket genom en process som kallas Knowledge Destillation. Vi visar dock att standard Knowledge Destillation inte är effektivt för att lära sig små modeller för att upptäcka fotgängare. För att förbättra denna process introducerar vi ett högre dimensionellt inslagsskikt för att öka informationsflödet. Vi uppskattar också variansen i utgångarna i det stora nätet och föreslår en förlustfunktion för att införliva denna osäkerhet. Slutligen försöker vi öka komplexiteten i det lilla nätet utan att öka dess storlek genom att använda som indata handdesignade funktioner som har visat sig vara effektiva för att upptäcka fotgängare. Vi lyckas träna en modell som innehåller 400× färre parametrar än det stora nätverket medan outperforming AlexNet på Caltech Fotgängar Dataset.
Dessutom använde REF en något modifierad version av kunskapsdestillation för att upptäcka fotgängare.
In Teacher We Trust: Learning Compressed Models for Pedestrian Detection
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}