Vi föreslår en ny dataförstärkningsmetod för märkta meningar som kallas villkorlig BERT kontextuell förstärkning. Dataförstoringsmetoder tillämpas ofta för att förhindra överbemanning och förbättra generaliseringen av de djupa neurala nätverksmodellerna. Nyligen föreslås kontextuell förstärkning ökar märkta meningar genom att slumpmässigt ersätta ord med mer varierande substitutioner som förutspås av språkmodell. BERT visar att en djupgående dubbelriktad språkmodell är mer kraftfull än antingen en enkelriktad språkmodell eller en ytlig konkatering av en framåt och bakåt modell. Vi uppgraderar BERT till villkorlig BERT genom att införa en ny villkorlig maskerad språkmodell 1 uppgift. Den välutbildade villkorliga BERT kan användas för att förbättra kontextuell förstärkning. Experiment på sex olika textklassificeringsuppgifter visar att vår metod enkelt kan tillämpas på både konvolutionella eller återkommande neurala nätverk klassificerare för att uppnå uppenbara förbättringar.
I REF föreslås en metod för dataförstärkning, kallad villkorlig BERT kontextuell förstärkning, för att generera syntetiska dataprover som ska vara ytterligare utbildningsdata.
Conditional BERT Contextual Augmentation
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}