Moderna datorer i lagerskala (WSC) utrustas med acceleratorer för att ge den betydande beräkning som krävs av framväxande intelligent personlig assistent (IPA) arbetsbelastning såsom röstigenkänning, bildklassificering och behandling av naturligt språk. Det är välkänt att det diurnala användaraccessmönstret för användaranpassade tjänster ger ett starkt incitament att samlokalisera applikationer för bättre acceleratorutnyttjande och effektivitet, och tidigare arbete har fokuserat på att möjliggöra samlokalisering på multicoreprocessorer. Interferens vid samlokalisering av applikationer på icke-förebyggande acceleratorer är dock i grunden annorlunda än tvist på flerkärniga processorer och introducerar en ny uppsättning utmaningar för att minska QoS överträdelse. För att ta itu med detta öppna problem, identifierar vi först de underliggande orsakerna till QoS överträdelse i accelerator-utrustade servrar. Våra experiment visar att köande fördröjningar för beräkningsresurserna och PCI-e bandbreddspåståenden för dataöverföring är de två huvudfaktorer som bidrar till de långa svansarna av användarvända applikationer. Vi presenterar sedan Baymax, ett runtime-system som iscensätter utförandet av beräkna uppgifter från olika applikationer och minskar PCI-e bandbreddsbegreppet för att leverera den nödvändiga QoS för användarvänliga applikationer och öka acceleratorutnyttjandet. Med hjälp av DjiNN, en djup neural nätverkstjänst, Sirius, en end-to-end IPA arbetsbelastning, och traditionella applikationer på en Nvidia K40 GPU, visar vår utvärdering att Baymax förbättrar acceleratorutnyttjandet med 91,3% samtidigt som den önskade 99%-ile latency mål för användarvända applikationer. I tillstånd att göra digitala eller hårda kopior av delar eller allt detta arbete för personligt bruk eller klassrum beviljas utan avgift, förutsatt att kopior inte görs eller distribueras för vinst eller kommersiella fördelar och att kopior är försedda med detta meddelande och den fullständiga citeringen på första sidan. Upphovsrätt till delar av detta verk som ägs av andra än ACM måste hedras. Abstraktering med kredit är tillåten. För att kopiera på annat sätt, för att återpublicera, för att posta på servrar, eller för att omfördela till listor, krävs tidigare specifik behörighet och/eller avgift. Begär tillstånd från authoritys@acm.org.
Ett ramverk som kan användas på icke förebyggande acceleratorer för att garantera en viss QoS för en ansökan i termer av varaktighet genom att förbättra GPU-användning rapporteras REF.
Baymax: QoS Awareness and Increased Utilization for Non-Preemptive Accelerators in Warehouse Scale Computers
{'venue': "ASPLOS '16", 'journal': None, 'mag_field_of_study': ['Computer Science']}