Detta dokument innehåller två bidrag. För det första föreslår vi en ny kodad matris multiplikationsteknik kallad Generalized PolyDot-koder som avancerar på befintliga metoder för kodad matris multiplikation under lagrings- och kommunikationsbegränsningar. Denna teknik använder "skräpjustering", dvs. att anpassa beräkningar i kodade datorer som inte är en del av önskad utdata. Generaliserade PolyDot-koder bro mellan de senaste Polynomiska koder och MatDot-koder, handel utanför mellan återvinning tröskel och kommunikationskostnader. För det andra visar vi att Generalized PolyDot kodning kan användas för att träna stora Deep Neural Networks (DNN) på opålitliga noder som är benägna att mjuk-terrors, t.ex., lite flips under beräkning som ger felaktiga utgångar. Detta kräver att vi tar itu med ytterligare tre utmaningar: (i) oöverkomligt stora omkostnader för kodning av viktmatriser i varje skikt av DNN vid varje iteration, (ii) ickelinjära operationer under utbildning, som är oförenliga med linjär kodning, och (iii) inte antar förekomsten av en felfri master nod, vilket kräver att vi arkitekt en helt decentraliserad genomförande. Eftersom vår strategi är helt decentraliserad, d.v.s. inga antaganden om förekomsten av en enda, felfri master nod görs, undviker vi någon "en enda punkt av misslyckande." Vi tillåter också alla primära DNN utbildningssteg, nämligen matris multiplikation, icke-linjär aktivering, Hadamard produkt, och uppdateringssteg samt kodning och avkodning att vara fel-benägen. Vi anser att fallet med mini-batch storlek B = 1, samt B > 1, den första hävstång kodade matris-vektorn produkter, och den andra kodade matris-matris produkter, respektive. Problemet med DNN-utbildning under soft-terrors motiverar också en intressant, probabilistisk felmodell enligt vilken ett reellt tal (P, Q) MDS-kod visas korrigera P − Q − 1 fel med sannolikhet 1 jämfört med för den mer konventionella, kontradiktoriska felmodellen. Vi visar också att vår föreslagna kodade DNN-strategi kan ge obegränsade vinster i feltolerans över en konkurrerande replikeringsstrategi och en preliminär MDS-kodbaserad strategi [2] för båda dessa felmodeller. Slutligen, som ett exempel, visar vi en utvidgning av vår teknik för en specifik neural nätverk arkitektur, nämligen glesa autoencoders.
En annan metod REF utför kodad beräkning över linjära operationer i neurala nätverk och avkodar före varje icke-linjär operation.
A Unified Coded Deep Neural Network Training Strategy Based on Generalized PolyDot Codes for Matrix Multiplication
{'venue': '2018 IEEE International Symposium on Information Theory (ISIT)', 'journal': '2018 IEEE International Symposium on Information Theory (ISIT)', 'mag_field_of_study': ['Computer Science', 'Mathematics']}