Abstract-Recent år har bevittnat en snabb tillväxt av djupnätverksbaserade tjänster och tillämpningar. Ett praktiskt och kritiskt problem har alltså uppstått: hur man effektivt distribuerar de djupa neurala nätverksmodellerna så att de kan utföras effektivt. Konventionella molnbaserade metoder brukar köra de djupa modellerna i datacenterservrar, vilket orsakar stor latency eftersom en betydande mängd data måste överföras från kanten av nätverket till datacenter. I detta dokument föreslår vi JALAD, en gemensam exakthet-och latency-medveten genomföranderam, som frikopplar ett djupt neuralt nätverk så att en del av det kommer att köras vid kanten enheter och den andra delen inne i det konventionella molnet, medan endast en minimal mängd data måste överföras mellan dem. Även om idén verkar enkel, vi står inför utmaningar inklusive i) hur man hittar den bästa partitionen av en djup struktur; ii) hur man distribuerar komponenten vid en kantenhet som bara har begränsad beräkningskraft; och iii) hur man minimerar den totala verkställande latens. Våra svar på dessa frågor är en uppsättning strategier i JALAD, inklusive 1) En normalisering baserad i lager datakomprimering strategi genom att gemensamt överväga komprimeringshastighet och modellnoggrannhet; 2) En latency-medveten djup frikoppling strategi för att minimera den totala verkställande latency; och 3) En edge-cloud struktur anpassningsstrategi som dynamiskt ändrar frikopplingen för olika nätverksförhållanden. Experiment visar att vår lösning avsevärt kan minska genomförandet latency: det påskyndar den totala inference utförande med en garanterad modell noggrannhet förlust.
JALAD REF föreslår frikoppling av ett Deep Neural Network (DNN) mellan kant och moln för att minimera latens med garantier för exekveringsnoggrannhet.
JALAD: Joint Accuracy- and Latency-Aware Deep Structure Decoupling for Edge-Cloud Execution
{'venue': '2018 IEEE 24th International Conference on Parallel and Distributed Systems (ICPADS)', 'journal': '2018 IEEE 24th International Conference on Parallel and Distributed Systems (ICPADS)', 'mag_field_of_study': ['Computer Science']}