Data noising är en effektiv teknik för att reglera neurala nätverksmodeller. Buller är vanligt förekommande inom tillämpningsområden som syn och tal, men vanliga noising primitiva har inte utvecklats för diskreta sekvensnivåinställningar såsom språkmodellering. I detta dokument, vi härleda en koppling mellan input noising i neurala nätverk språkmodeller och utjämning i ngram modeller. Med hjälp av denna koppling använder vi oss av idéer från utjämning till utveckling av effektiva bullersystem. Vi visar resultatvinster när vi tillämpar de föreslagna systemen på språkmodellering och maskinöversättning. Slutligen tillhandahåller vi empirisk analys som bekräftar förhållandet mellan buller och utjämning.
Ref diskuterar olika databuller tekniker för språkmodeller.
Data Noising as Smoothing in Neural Network Language Models
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}