Nyligen, varianter av neurala nätverk för beräkningslingvistik har föreslagits och framgångsrikt tillämpas på neurala språk modellering och neural maskinöversättning. Dessa neurala modeller kan dra nytta av kunskap från massiv corpora men de är extremt långsamma när de förutsäger kandidatord från ett stort ordförråd under träning och inferens. Som ett alternativ till gradient approximation och softmax med klassnedbrytning utforskar vi den trädbaserade hierarkiska softmax-metoden och ändrar dess arkitektur, vilket gör den kompatibel med moderna GPU:er och introducerar en kompakt trädbaserad förlustfunktion. I kombination med flera ordhierariska klusteralgoritmer uppnås bättre prestanda i språkmodellering med inneboende utvärderingskriterier för PTB-, WikiText-2- och WikiText-103-datauppsättningar.
Nyligen har Ref reformerat den trädbaserade strukturen för att göra den mer effektiv på GPU.
Exploration of tree-based hierarchical softmax for recurrent language models
{'venue': 'IJCAI', 'journal': None, 'mag_field_of_study': ['Computer Science']}