Textklassificering är fortfarande ett viktigt problem för omärkt text; CiteSeer, en sökmotor för datascience-dokument, använder automatiska klassificeringsmetoder för dokumentindexering. Textklassificeringen använder ett dokuments ursprungliga textord som den primära funktionsrepresentationen. En sådan representation har dock vanligtvis en hög dimensionalitet och har gleshet. Ordkluster är ett effektivt tillvägagångssätt för att minska funktionsdimensionaliteten och funktionsbristen, och förbättra textklassificeringens prestanda. I detta dokument introduceras en domänregelbaserad ordklustermetod för klusterfunktionsrepresentation. Klustren bildas från olika domändatabaser och ordet ortografiska egenskaper. Förutom betydande minskning av dimensionaliteten, visar sådana klusterfunktionsrepresentationer en absolut förbättring på 6,6 % i genomsnitt av klassificeringsprestandan för dokumentrubriker och en absolut förbättring på 8,4 % av den totala noggrannheten för extraktion av bibliografiska fält, i motsats till funktionsrepresentation bara baserat på de ursprungliga textorden. Vårt ordkluster överträffar till och med fördelningsordklustret i samband med dokumentmetadataextrahering.
Word clustering är också en effektiv metod för att minska funktion dimensioner och distribution och, som en följd av detta, förbättrar prestandan för dokumentklassificering REF som håller på att bli en nyckelteknik i frågor om behandling av naturligt språk.
Rule-based word clustering for document metadata extraction
{'venue': "SAC '05", 'journal': None, 'mag_field_of_study': ['Computer Science']}