Vi föreslår och utvärderar nya tekniker för att komprimera och påskynda tät matris multiplikationer som finns i de fullt anslutna och återkommande lager av neurala nätverk för inbyggda stora ordförråd kontinuerlig taligenkänning (LVCSR). För kompression introducerar och studerar vi en spårnorm legaliseringsteknik för att träna låg rank faktoriserade versioner av matrismultiplikationer. Jämfört med standard utbildning med låg rang visar vi att vår metod mer konsekvent leder till god noggrannhet jämfört med antal parameter kompromisser och kan användas för att påskynda utbildningen av stora modeller. För speedup möjliggör vi snabbare slutledning på ARM-processorer genom nya öppna källkodskärnor optimerade för små satsstorlekar, vilket resulterar i 3x till 7x hastighetsuppgångar över det allmänt använda gemmlowp-biblioteket. Utöver LVCSR förväntar vi oss att våra tekniker och kärnor ska vara mer allmänt tillämpliga på inbäddade neurala nätverk med stora fullt anslutna eller återkommande lager.
REF använder iterativ spårnormreglering för att beskära RNN som används för taligenkänning.
Trace norm regularization and faster inference for embedded speech recognition RNNs
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science', 'Engineering']}