Vi presenterar CHARAGRAM-inbäddningar, ett enkelt tillvägagångssätt för att lära sig karaktärsbaserade kompositionsmodeller för att bädda in textsekvenser. Ett ord eller mening representeras med hjälp av en tecken n-gram räkna vektor, följt av en enda icke-linjär omvandling för att ge en låg-dimensionell inbäddning. Vi använder tre uppgifter för utvärdering: ordlikhet, mening likhet, och del-av-tal taggning. Vi visar att CHARAGRAM inbäddar mer komplexa arkitekturer baserade på karaktärsrecidiverande och konvolutionella neurala nätverk, för att uppnå nya state-of-the-art prestanda på flera likhetsuppgifter.
En liknande n-grammodell föreslås av REF.
Charagram: Embedding Words and Sentences via Character n-grams
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}