Stora textdatabaser kan innehålla en stor mängd kunskap. Texten representerar emellertid faktainformation (och information om författarens kommunikativa avsikter) på ett komplext, rikt och ogenomskinligt sätt. Till skillnad från numeriska och fasta fältdata kan de därför inte analyseras med hjälp av standardiserade statistiska datautvinningsmetoder. Att förlita sig på mänskliga analyser resulterar antingen i enorma arbetsbelastningar eller i en analys av endast en liten del av databasen. Vi arbetar med textutvinningsteknik för att extrahera kunskap från mycket stora mängder textdata. Till skillnad från informationssökningsteknik som gör det möjligt för en användare att välja dokument som uppfyller användarens krav och intressen, eller dokumentklusterteknik som organiserar dokument, fokuserar vi på att hitta värdefulla mönster och regler i text som indikerar trender och viktiga funktioner om specifika ämnen. Genom att tillämpa vårt prototypsystem som heter TAKMI (Textanalys och Knowledge MIning) på textdatabaser i PC hjälpcenter, kan vi automatiskt upptäcka produktfel, avgöra problem som har lett till snabba ökningar av antalet samtal och deras underliggande skäl, och analysera hjälp centrera produktiviteten och förändringar i kundernas beteende som involverar en viss produkt, utan att läsa någon av texten. Vi har verifierat att vårt ramverk också är effektivt för andra uppgifter, t.ex. patenthandlingar. Ett textformat är ett mycket flexibelt sätt att beskriva och lagra olika typer av information, stora mängder information lagras och distribueras som text. Dessutom har mängden tillgängliga textdata ökat snabbt. Sådana uppgifter kan potentiellt innehålla en stor mängd kunskap. Men att analysera enorma mängder textdata kräver en enorm mängd arbete när det gäller att läsa hela texten och organisera innehållet. Därför har ökningen av tillgängliga textdata orsakat en informationsflod trots hopp om att bli kunnig om olika ämnen. För att övervinna denna kontraintuitiva situation, har en text gruvteknik som kallas TAKMI (Textanalys och Knowledge MIning) utvecklats för att förvärva användbar kunskap från stora mängder textdata såsom interna rapporter, olika tekniska dokument, meddelanden från olika individer, och så vidare. Den beskrivs i detta dokument. I synnerhet försöker vi analysera vad en stor uppsättning dokument tyder på som helhet snarare än att fokusera på den specifika informationen i varje dokument. Den viktigaste frågan för denna text gruvteknik är hur man representerar innehållet i textdata för att tillämpa statistisk analys. Eftersom all information som inte kan bevaras inom representationen inte kan visas i slutresultatet bör vi noggrant undersöka representationssystemets uttryckskraft. Sedan, när lämplig information extraheras ur texten, är nästa fråga hur man tillhandahåller statistisk analys. Vi bör då tillämpa lämpliga gruvfunktioner anpassade till representationerna av det ursprungliga innehållet i texten. Slutligen, eftersom innehållet i texten varierar kraftigt, är det viktigt att visualisera resultaten och tillåta en interaktiv analys för att uppfylla kraven hos analytiker som arbetar från flera synpunkter.
Projektet TAKMI (Text Analysis and Knowledge Mining) REF, som framgångsrikt har tillämpats i Call-Center-domänen för att härleda värdefulla affärsinsikter från samtalsutskrifter/loggar, bygger i hög grad på kvaliteten på call-clustering.
Text analysis and knowledge mining system
{'venue': 'IBM Syst. J.', 'journal': 'IBM Syst. J.', 'mag_field_of_study': ['Computer Science']}