Beräkningen för dagens intelligenta personliga assistenter som Apple Siri, Google Now och Microsoft Cortana utförs i molnet. Detta moln-enbart tillvägagångssätt kräver betydande mängder data som ska skickas till molnet över det trådlösa nätverket och sätter betydande beräkningstryck på datacenteret. Men när beräkningsresurserna i mobila enheter blir mer kraftfulla och energieffektiva uppstår frågor om huruvida denna molnbaserade behandling är önskvärd framåt, och vad är konsekvenserna av att driva en del eller alla av denna beräkning till de mobila enheterna på kanten. I detta dokument undersöker vi status quo-metoden för molnbaserad bearbetning och undersöker datadelningsstrategier som effektivt utnyttjar både cyklerna i molnet och den mobila enheten för att uppnå låg latens, låg energiförbrukning och hög datacenterkapacitet för denna klass av intelligenta applikationer. Vår studie använder 8 intelligenta applikationer som spänner över datorseende, tal, och naturliga språkdomäner, alla använder state-of-the-art Deep Neural Networks (DNNs) som kärnan maskininlärning teknik. Vi finner att med tanke på egenskaperna hos DNN-algoritmer, en finkornig, lagernivå-beräkning partitioneringsstrategi baserad på data och beräkningsvariationer för varje skikt i en DNN har betydande latens och energifördelar jämfört med status quo-metoden. Med hjälp av denna insikt designar vi Neurosurgeon, en lätt schemaläggare för att automatiskt partitionera DNN-beräkning mellan mobila enheter och datacenter vid granulariteten i neurala nätverkslager. Neurokirurg kräver inte profilering per applikation. Den anpassar sig till olika DNN-arkitekturer, hårdvaruplattformar, trådlösa nätverk och serverbelastningsnivåer, intelligent partitionera beräkning för tillstånd att göra digitala eller hårda kopior av hela eller delar av detta arbete för personligt eller klassrum användning beviljas utan avgift, förutsatt att kopior inte görs eller distribueras för vinst eller kommersiella fördelar och att kopior bär detta meddelande och den fullständiga hänvisning på första sidan. Upphovsrätt till delar av detta verk som ägs av andra än ACM måste hedras. Abstraktering med kredit är tillåten. Att kopiera på annat sätt, eller återpublicera, att posta på servrar eller att omfördela till listor, kräver tidigare specifik behörighet och / eller en avgift. Begär tillstånd från authoritys@acm.org. bästa latens eller bästa mobila energi. Vi utvärderar neurokirurgi på en toppmodern mobil utvecklingsplattform och visar att det förbättrar end-to-end latency med 3,1× i genomsnitt och upp till 40,7×, minskar mobil energiförbrukning med 59,5% i genomsnitt och upp till 94,7%, och förbättrar datacenter genomströmning med 1,5× i genomsnitt och upp till 6,7×.
Neurosurgeon REF identifierar när det är fördelaktigt att avlasta ett DNN-lager som ska beräknas på molnet.
Neurosurgeon: Collaborative Intelligence Between the Cloud and Mobile Edge
{'venue': "ASPLOS '17", 'journal': None, 'mag_field_of_study': ['Computer Science']}