Djupa neurala nätverk når state-of-the-art prestanda för ett brett utbud av naturliga språkbehandling, datorseende och talapplikationer. Men en av de största utmaningarna är att köra dessa komplexa nätverk på enheter som mobiltelefoner eller smarta klockor med litet minnesavtryck och låg beräkningskapacitet. Vi föreslår självstyrande neurala nätverk (SGNN), som lär sig kompakta projektionsvektorer med lokal känslig hashning. Den viktigaste fördelen med SGNNs framför befintligt arbete är att de övervinner behovet av förtränade ordinslag och komplexa nätverk med enorma parametrar. Vi gör en omfattande utvärdering av dialoglagens klassificering och visar på betydande förbättringar jämfört med de senaste resultaten. Våra resultat visar att SGNN är effektiva på att fånga lågdimensionella semantiska textrepresentationer, samtidigt som hög noggrannhet upprätthålls.
För att ta itu med utmaningen att montera enorma djupa neurala nätverk on-device, REF ) utvecklat en ny självstyrande neurala nätverk (SGNNs) som lär prognoser i farten leder till små modeller.
Self-Governing Neural Networks for On-Device Short Text Classification
{'venue': 'EMNLP', 'journal': None, 'mag_field_of_study': ['Computer Science']}