Att genomföra en korrekt och snabb aktiveringsfunktion med låga kostnader är en avgörande aspekt för genomförandet av Deep Neural Networks (DNN) på FPGA. Vi föreslår en hög noggrannhet approximation tillvägagångssätt för hyperbolisk tangent aktivering funktion av artificiella neuroner i DNNs. Det är baserat på Diskret Cosine Transform Interpolation Filter (DC-TIF). Den föreslagna arkitekturen kombinerar enkla aritmetiska operationer på lagrade prover av den hyperboliska tangentfunktionen och på inmatningsdata. Det föreslagna genomförandet av DCTIF ger två storleksordningar större precision än tidigare arbete samtidigt som samma eller färre beräkningsresurser används. Olika kombinationer av DCTIF parametrar kan väljas för att byta bort noggrannheten och komplexiteten i den hyperboliska tangentfunktionen. I ett fall, den föreslagna arkitekturen approximerar hyperbolisk tangent aktivering funktion med 10 -5 maximal fel samtidigt som kräver endast 1,52 Kbits minne och 57 LUTs av en Virtex-7 FPGA. Vi diskuterar också hur aktiveringsfunktionens noggrannhet påverkar DNN:s prestanda när det gäller deras utbildning och testnoggrannhet. Vi visar att en hög noggrannhet approximation kan vara nödvändigt för att upprätthålla samma DNN utbildning och tester prestanda realiseras av den exakta funktionen.
Abdelsalam m.fl. ungefärlig tangent aktivering funktion med Discrete Cosine Transform Interpolation Filter (DCTIF) för att köra neurala nätverk på FPGA styrelser effektivt REF.
Accurate and Efficient Hyperbolic Tangent Activation Function on FPGA using the DCT Interpolation Filter
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}