Ord i naturligt språk följer en zipfiansk distribution där vissa ord är vanliga men de flesta är sällsynta. Lärande representationer för ord i den "långa svansen" av denna fördelning kräver enorma mängder data. Representationer av sällsynta ord som tränas direkt på end-tasks är oftast dåliga, vilket kräver att vi pre-trainerar inbäddningar på externa data, eller behandlar alla sällsynta ord som out-of-vokabulary ord med en unik representation. Vi tillhandahåller en metod för att förutsäga inbäddningar av sällsynta ord på flugan från små mängder hjälpdata med ett nätverk tränade mot slutuppgiften. Vi visar att detta förbättrar resultaten mot baslinjer där inbäddningar tränas på slutuppgiften i en läsförståelseuppgift, en igenkännande textförståelseuppgift, och i språkmodellering.
På samma sätt som vår dynamiska enhet representation, REF konstruera on-the-fly ord inbäddningar av sällsynta ord från ordlistan definitioner.
Learning to Compute Word Embeddings On the Fly
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}