Vi fokuserar på flerfaldigt svarsval i ett hämtningsbaserat dialogsystem. I det här dokumentet använder vi den kraftfulla förtränade språkmodellen Bi-riktad Encoder Representationer från Transformer (BERT) för ett multi-turn dialogsystem och föreslår en mycket effektiv post-utbildningsmetod för domänspecifika corpus. Även om BERT lätt antas till olika NLP uppgifter och överträffar tidigare baslinjer för varje uppgift, har det fortfarande begränsningar om en uppgift corpus är alltför fokuserad på en viss domän. Post-utbildning på domänspecifika corpus (t.ex., Ubuntu Corpus) hjälper modellen att träna kontextualiserade representationer och ord som inte visas i allmänna corpus (t.ex. engelska Wikipedia). Experimentella resultat visar att vårt tillvägagångssätt uppnår nya tillstånd av hjärta på två response selection benchmarking datas (dvs Ubuntu Corpus V1, Rådgivning Corpus) prestandaförbättring med 5,9% och 6% på R 10 @1.
Nyligen har domänanpassning också använts för multi-turn response selection i ett hämtningsbaserat dialogsystem av REF.
Domain Adaptive Training BERT for Response Selection
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}