Textsegmentering, uppgiften att dela upp ett dokument i sammanhängande segment baserat på dess semantiska struktur, är en långvarig utmaning i språkförståelse. Tidigare arbete med textsegmentering fokuserade på oövervakade metoder som klusterbildning eller grafsökning, på grund av knappheten i märkta data. I detta arbete formulerar vi textsegmentering som ett övervakat inlärningsproblem och presenterar en stor ny datauppsättning för textsegmentering som automatiskt extraheras och märks från Wikipedia. Dessutom utvecklar vi en segmenteringsmodell baserad på denna datauppsättning och visar att den generaliserar väl till osedd naturlig text.
REF formulerade textsegmenteringsuppgiften på allmän domänkorpora såsom Wikipedia som ett övervakat inlärningsproblem, och föreslog en två nivåers dubbelriktad LSTM-modell för att lära sig att upptäcka textomfång.
Text Segmentation as a Supervised Learning Task
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}