Lärande ord representationer har nyligen sett stor framgång i beräkningslingvistik. Det är dock ofta omotiverat att anta sekvenser av ordpolletter som input till språklig analys. För många språk är ordsegmentering en icke-trivial uppgift och naturligt förekommande text är ibland en blandning av naturliga språksträngar och andra teckendata. Vi föreslår att lära sig textrepresentationer direkt från råa teckensekvenser genom att träna ett enkelt återkommande nätverk för att förutsäga nästa tecken i text. Nätverket använder sitt dolda lager för att utveckla abstrakta representationer av de teckensekvenser det ser. För att visa nyttan av den lärda texten inbäddade, använder vi dem som funktioner i en övervakad teckennivå text segmentering och märkning uppgift: känna igen spänner av text som innehåller programmering språkkod. Genom att använda inbäddningarna som funktioner kan vi avsevärt förbättra över en baslinje som endast använder ytkaraktär n-gram.
I REF föreslår författaren ett enkelt återkommande nätverk (SRN) för att lära sig kontinuerliga vektor representationer för sekvenser av tecken, och använda dem som funktioner i en villkorlig slumpmässig fältklassificering för att lösa en teckennivå text segmentering och märkning uppgift.
Text segmentation with character-level text embeddings
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}