Randomiserade tekniker gör det möjligt att kortfattat representera mycket stora språkmodeller. Men eftersom de är batch-baserade är de olämpliga för modellering av en obegränsad ström av språk samtidigt som en konstant felfrekvens bibehålls. Vi presenterar en ny randomiserad språkmodell som använder en perfekt hashfunktion online för att effektivt hantera obundna textströmmar. Översättningsexperiment över en textström visar att vår online randomiserade modell matchar prestandan hos batch-baserade LMs utan att ådra sig de beräkningsmässiga overhead i samband med full omskolning. Detta öppnar upp möjligheten av randomiserade språkmodeller som kontinuerligt anpassar sig till de massiva volymer av texter som publiceras på webben varje dag.
REF utvidgar randomiserade språkmodeller till stream-baserade språkmodeller.
Stream-based Randomised Language Models for SMT
{'venue': 'EMNLP', 'journal': None, 'mag_field_of_study': ['Computer Science']}