Vi föreslår en ny dataförstärkning för märkta meningar som kallas kontextuell förstärkning. Vi antar att meningarna är naturliga även om orden i meningarna ersätts med andra ord med paradigmiska relationer. Vi stokastiskt ersätta ord med andra ord som förutspås av en dubbelriktad språkmodell på ordet positioner. Ord som förutsägs enligt ett sammanhang är talrika men lämpliga för förstärkningen av de ursprungliga orden. Dessutom eftermonterar vi en språkmodell med en etikett-villkorad arkitektur, vilket gör det möjligt för modellen att utöka meningar utan att bryta etikett-kompatibilitet. Genom experimenten för sex olika textklassificeringsuppgifter visar vi att den föreslagna metoden förbättrar klassificeringen baserat på de konvolutionella eller återkommande neurala nätverken.
Senast föreslår Ref ett tillvägagångssätt för att använda förkunskaperna från en dubbelriktad språkmodell för att ersätta ett ordtecken i meningen.
Contextual Augmentation: Data Augmentation by Words with Paradigmatic Relations
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}