Abstrakt. I detta dokument föreslår vi en enkel och allmän ram för utbildning av mycket små CNN (t.ex. VGG med antalet kanaler reducerade till 1 32 ) för objektdetektering. På grund av begränsad representationsförmåga är det en utmaning att utbilda mycket små nätverk för komplicerade uppgifter som detektion. Såvitt vi vet är vår metod, Quantization Mimic, den första som fokuserar på mycket små nätverk. Vi använder oss av två typer av accelerationsmetoder: imitering och kvantisering. Mimic förbättrar prestandan hos ett studentnätverk genom att överföra kunskap från ett lärarnätverk. Kvantisering omvandlar ett fullprecisionsnätverk till ett kvantiserat nätverk utan stor försämring av prestanda. Om lärarnätverket kvantifieras blir studentnätverkets sökområde mindre. Med hjälp av detta inslag i kvantifieringen föreslår vi kvantisering Mimic. Den kvantifierar först det stora nätet och härmar sedan ett kvantiserat litet nätverk. Kvantiseringsoperationen kan hjälpa studentnätverket att bättre matcha funktionskartorna från lärarnätverket. För att utvärdera vårt tillvägagångssätt utför vi experiment på olika populära CNNs inklusive VGG och Resnet, samt olika detekteringsramar inklusive Snabbare R-CNN och R-FCN. Experiment på Pascal VOC och WIDER FACE verifierar att vår kvantisering Mimic algoritm kan tillämpas på olika inställningar och överträffar state-of-the-art modell acceleration metoder med begränsad dator resouces.
Wei och Al. REF föreslår att man kombinerar funktionsimitation med kvantiseringsteknik, vilket hjälper studentnätverk att bättre matcha funktionskartorna för lärarnätverk för effektivare funktionsdestillering.
Quantization Mimic: Towards Very Tiny CNN for Object Detection
{'venue': 'ECCV', 'journal': None, 'mag_field_of_study': ['Computer Science']}