Destillering av kunskap från ett välutbildad tungrott nätverk till ett litet har nyligen blivit ett nytt forskningsämne, eftersom lätta neurala nätverk med hög prestanda är särskilt i behov av olika resursbegränsade system. I detta dokument behandlas problemet med destillering av ordinslag för NLP-uppgifter. Vi föreslår en kodningsmetod för destillering av uppgiftsspecifika kunskaper från en uppsättning högdimensionella inbäddningar, så att vi kan minska modellkomplexiteten med stor marginal samt behålla hög noggrannhet och uppnå en bra kompromiss mellan effektivitet och prestanda. Experiment avslöjar fenomenet att destillering av kunskap från besvärliga inbäddningar är bättre än direkt utbildning neurala nätverk med små inbäddningar. Modell kompression; neurala nätverk; ord inbäddningar Som sagt, befintliga metoder för kunskapsöverföring mellan två neurala nätverk främst följa en två-steg strat-
I naturligt språk bearbetning (NLP), REF destillering uppgiftsspecifika kunskaper från ord inbäddningar.
Distilling Word Embeddings: An Encoding Approach
{'venue': "CIKM '16", 'journal': None, 'mag_field_of_study': ['Computer Science']}