Nyligen har betydande noggrannhetsförbättringar uppnåtts för akustiska igenkänningssystem genom att öka modellstorleken på nätverken för Long Short-Term Memory (LSTM). Tyvärr leder den ständigt ökande storleken på LSTM-modellen till ineffektiv design på FPGA på grund av de begränsade resurserna på chip. I det tidigare arbetet föreslås att man använder en beskärningsbaserad kompressionsteknik för att minska modellstorleken och därmed påskynda inferensen på FPGA. Men den slumpmässiga karaktären av beskärningstekniken omvandlar de täta matriserna av modellen till mycket ostrukturerade glesa, vilket leder till obalanserad beräkning och oregelbunden minnesåtkomst och därmed skadar den totala prestandan och energieffektiviteten. Däremot föreslår vi att man använder en strukturerad kompressionsteknik som inte bara kan minska LSTM-modellens storlek utan också eliminera avvikelserna i beräkning och minnesåtkomst. Detta tillvägagångssätt använder block-cirkulant istället för sparse matriser för att komprimera vikt matriser och minskar lagringskrav från (k 2 ) till (k ). Snabb Fourier Transform algoritm används för att ytterligare påskynda slutsatsen genom att minska den beräknings komplexitet från (k 2 ) till (klogk ). Datapath- och aktiveringsfunktionerna kvantifieras som 16-bitars för att förbättra resursutnyttjandet. Ännu viktigare är att vi föreslår ett omfattande ramverk kallat C-LSTM för att automatiskt optimera och implementera ett brett utbud av LSTM-varianter på FPGA:er. Enligt de experimentella resultaten uppnår C-LSTM upp till 18,8X och 33,5X vinster för prestanda och energieffektivitet jämfört med den senaste LSTM-implementeringen under samma experimentella installation, och noggrannhetsnedbrytningen är mycket liten.
C-LSTM REF utnyttjar strukturerade komprimeringstekniker som minskar LSTM-modellens storlek och samtidigt eliminerar ojämnheter i beräknings- och minnesåtkomst.
C-LSTM: Enabling Efficient LSTM using Structured Compression Techniques on FPGAs
{'venue': "FPGA '18", 'journal': None, 'mag_field_of_study': ['Mathematics', 'Computer Science']}