Code-switching (CS), praxis att växla mellan två eller flera språk i konversationer, är genomgripande i de flesta flerspråkiga samhällen. CS-texter har ett komplext samspel mellan språk och förekommer i informella sammanhang som gör dem svårare att samla in och konstruera NLP-verktyg för. Vi närmar oss detta problem genom språkmodellering (LM) på en ny hindiengelska blandad corpus som innehåller 59 189 unika meningar som samlats in från bloggande webbplatser. Vi implementerar och diskuterar olika språkmodeller som härrör från en flerskiktad LSTM-arkitektur. Vi hypothesize att kodning språkinformation stärker en språkmodell genom att hjälpa till att lära sig code-switching punkter. Vi visar att vår bäst presterande modell uppnår en test perplexitet på 19.52 på CS corpus som vi samlade in och bearbetade. På dessa data visar vi att vår prestanda är en förbättring jämfört med AWD-LSTM LM (en senaste toppmodern på enspråkig engelska).
Språkmodellering (LM) om HIN-ENG-språktexter har föreslagits av REF.
Language Informed Modeling of Code-Switched Text
{'venue': 'CodeSwitch@ACL', 'journal': None, 'mag_field_of_study': ['Computer Science']}