Abstrakt. Nya genombrott i Neural Architectural Search (NAS) har uppnått toppmoderna prestationer i tillämpningar som bildklassificering och språkmodellering. Dessa tekniker ignorerar dock vanligtvis enhetsrelaterade mål som inferenstid, minnesanvändning och strömförbrukning. Att optimera neural arkitektur för enhetsrelaterade mål är oerhört viktigt för att distribuera djupa nätverk på bärbara enheter med begränsade datorresurser. Vi föreslår DPPNet: Device-aware Progressive Search for Pareto-optimal Neural Architectures, optimera för både enhet-relaterade (t.ex., inference tid och minne användning) och enhet-agnostic (t.ex., noggrannhet och modellstorlek) mål. DPP-Net använder ett kompakt sökutrymme inspirerat av aktuella toppmoderna mobila CNNs, och ytterligare förbättrar sökeffektiviteten genom att anta progressiv sökning. Experimentella resultat på CIFAR-10 är redo att visa effektiviteten av Pareto-optimala nätverk som finns av DPP-Net, för tre olika enheter: (1) en arbetsstation med Titan X GPU, (2) NVIDIA Jetson TX1 inbyggda system, och (3) mobiltelefon med ARM Cortex-A53. Jämfört med CondenseNet och NASNet (Mobile) uppnår DPP-Net bättre prestanda: högre noggrannhet och kortare inferenstid på olika enheter. Ytterligare experimentella resultat visar att modeller som finns av DPP-Net också uppnår avsevärt bra prestanda på ImageNet.
DPP-Net REF är en annan metod för enhetsmedveten sökning för Pareto-optimala neurala nätverksarkitekturer.
DPP-Net: Device-aware Progressive Search for Pareto-optimal Neural Architectures
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}