Vi presenterar hash inbäddningar, en effektiv metod för att representera ord i en kontinuerlig vektorform. En hash inbäddning kan ses som en interpolering mellan en standard ord inbäddning och ett ord inbäddning skapas med hjälp av en slumpmässig hash funktion (hashing trick). I hash inbäddningar varje token representeras av k d-dimensionella inbäddningar vektorer och en k dimensional vikt vektor. Den slutliga d dimensional representationen av symbolen är produkten av de två. Istället för att montera inbäddningsvektorer för varje token dessa väljs av hashing trick från en delad pool av B inbäddningsvektorer. Våra experiment visar att hasch inbäddade kan lätt hantera enorma ordförråd som består av miljontals polletter. När du använder en hash inbäddning finns det ingen anledning att skapa ett lexikon före träning eller att utföra någon form av vokabulärbeskärning efter träning. Vi visar att modeller som utbildats med hjälp av hashbäddar uppvisar minst samma prestanda som modeller som tränas med regelbundna inbäddningar över ett brett spektrum av uppgifter. Dessutom är det antal parametrar som behövs för en sådan inbäddning bara en bråkdel av vad som krävs av en regelbunden inbäddning. Eftersom standardinbäddningar och inbäddningar som konstruerats med hjälp av hashtricket faktiskt bara är speciella fall av en hash inbäddning, kan hash inbäddningar betraktas som en förlängning och förbättring jämfört med de befintliga vanliga inbäddningstyper.
REF ] beskriver ett hash inbäddningsschema där utmatningen inbäddning för en funktion är en viktad summa mellan inbäddningsvektorerna och viktvektorn.
Hash Embeddings for Efficient Word Representations
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}