Djupa neurala nätverk har varit mycket framgångsrika på olika bild, tal, videoigenkänning uppgifter på grund av deras förmåga att modellera djupa strukturer inom data. De är dock fortfarande oöverkomligt dyra att utbilda och ansöker om problem som innehåller miljontals klasser i produktionsskiktet. Baserat på observationen att den viktigaste beräkningen som är gemensam för de flesta neurala nätverkslager är en vektor / matris produkt, föreslår vi en snabb lokalitetskänslig hashing teknik för att approximera den faktiska punkt produkt som gör det möjligt för oss att skala upp utbildning och slutsatser till miljontals output klasser. Vi utvärderar vår teknik på tre olika storskaliga igenkänningsuppgifter och visar att vår strategi kan träna storskaliga modeller i snabbare takt (i form av steg/total tid) jämfört med basmetoder.
En annan modell föreslås i REF, där författarna utvecklar en snabb lokal-känslig hashing teknik för att approximera punkt produkten mellan stora matriser och vektorer i neurala nätverk.
Deep Networks With Large Output Spaces
{'venue': 'ICLR 2015', 'journal': 'arXiv: Neural and Evolutionary Computing', 'mag_field_of_study': ['Computer Science']}