Recurrent Neural Networks (RNN) används i toppmoderna modeller inom områden som taligenkänning, maskinöversättning och språkmodellering. Sparhet är en teknik för att minska kraven på beräkning och minne i djupinlärningsmodeller. Sparse RNNs är lättare att distribuera på enheter och avancerade serverprocessorer. Även om sparsamma operationer behöver mindre beräkning och minne i förhållande till sina täta motsvarigheter, är den upphastighet som observeras genom att använda glesa operationer mindre än förväntat på olika hårdvaruplattformar. För att ta itu med denna fråga undersöker vi två olika tillvägagångssätt för att framkalla block gleshet i RNN: beskärning block av vikter i ett lager och använder grupp lasso legalisering för att skapa block av vikter med nollor. Med hjälp av dessa tekniker, visar vi att vi kan skapa block-sparse RNNs med gleshet som sträcker sig från 80% till 90% med liten förlust i noggrannhet. Detta gör att vi kan minska modellstorleken med ungefär 10×. Dessutom kan vi beskära ett större tätt nätverk för att återställa denna förlust i noggrannhet samtidigt som hög block gleshet och minska den totala parametern räkna. Vår teknik fungerar med en mängd olika blockstorlekar upp till 32×32. Block-sparse RNNs eliminera overheads relaterade till datalagring och oregelbundna minnesåtkomster samtidigt öka hårdvarueffektivitet jämfört med ostrukturerad sparhet.
REF använder iterativ mark lasso legalisering för att inducera block gleshet i återkommande neurala nätverk.
Block-Sparse Recurrent Neural Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}