Konventionella ordinslag tränas med särskilda kriterier (t.ex. baserat på språkmodellering eller samtidig användning) inom en enda informationskälla, utan hänsyn till möjligheten till ytterligare kalibrering med hjälp av externa kunskaper. I detta dokument presenteras en enhetlig ram som utnyttjar pre-lärda eller externa tidigare, i form av en regularizer, för att förbättra konventionella språk modellbaserade inbäddning lärande. Vi överväger två typer av regularizers. Den första typen härleds från ämnesfördelningen genom att köra latent Dirichlet allokering på omärkta data. Den andra typen är baserad på ordböcker som skapas med mänsklig annotering ansträngningar. För att effektivt lära sig med regularizers, föreslår vi en ny datastruktur, bana softmax, i detta papper. De resulterande inbäddningar utvärderas genom ordet likhet och känsla klassificering. Experimentella resultat visar att vårt inlärningsramverk med legalisering från tidigare kunskap förbättrar inbäddningen av kvalitet mellan flera datauppsättningar, jämfört med en mångfald av baslinjemetoder.
En annan metod av REF använder pre-lärda eller externa föregångare som en regularizer för förbättring av ord inbäddningar extraherade från neurala nätverk språkmodeller.
Learning Word Representations with Regularization from Prior Knowledge.
{'venue': 'CoNLL', 'journal': None, 'mag_field_of_study': ['Computer Science']}