De inbäddade lager som omvandlar inmatningsord till verkliga vektorer är de viktigaste komponenterna i djupa neurala nätverk som används i naturligt språk bearbetning. Men när ordförrådet är stort (t.ex. 800k unika ord i One-Billion-Word datasetet), kan motsvarande viktmatriser vara enorma, vilket utesluter deras installation i en begränsad resursinställning. Vi introducerar ett nytt sätt att parametrisera inbäddade lager baserat på Tensor Train (TT) nedbrytning, vilket gör det möjligt att komprimera modellen avsevärt på bekostnad av en försumbar nedgång eller till och med en liten vinst i prestanda. Viktigt är att vår metod inte tar den förtränade modellen och komprimerar dess vikter utan ersätter standardbäddlagren med sina TT-baserade motsvarigheter. Den resulterande modellen tränas sedan end-to-end, men den kan kapitaliseras på större partier på grund av de minskade minneskraven. Vi utvärderar vår metod på ett brett spektrum av riktmärken i känsloanalys, neural maskinöversättning och språkmodellering, och analyserar avvägningen mellan prestanda och kompressionsförhållanden för ett brett spektrum av arkitekturer, från MLPs till LSTMs och Transformers.
REF tillämpade Tensor Train algoritm till ingång inbäddning lager på olika NLP problem som språkmodellering, maskinöversättning och känsloanalys.
Tensorized Embedding Layers for Efficient Model Compression
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}