I detta dokument föreslår vi ett nytt tillvägagångssätt för att upptäcka informativt innehåll från en uppsättning tabelldokument (eller webbsidor) på en webbplats. Vårt system, InfoDiscoverer, första partitionerar en sida i flera innehållsblock enligt HTML-taggen < T~L E > på en webbsida. Baserat på förekomsten av funktioner (termer) i uppsättningen sidor, den beräknar entropivärdet för varje funktion. Enligt entropivärdet för varje funktion i ett innehållsblock definieras blockets entropivärde. Genom att analysera informationsmåttet föreslår vi en metod för att dynamiskt välja den entropitröskel som partitionerar block till antingen informativa eller överflödiga. Informationsblock är särskiljande delar av sidan, medan redundanta innehållsblock är vanliga delar. Baserat på svaret som genereras från 13 manuellt taggade nyheter Webbplatser med totalt 26,518 webbsidor, experiment visar att både återkalla och precisionsfrekvenser är större än 0,956. Det vill säga, med hjälp av metoden, informativa block (nyheter artiklar) av dessa webbplatser kan automatiskt separeras från semantiskt överflödigt innehåll såsom annonser, banners, navigeringspaneler, nyhetskategorier, etc. Genom att använda InfoDiscoverer som förbehandlare av applikationer för insamling och utvinning av information kommer precisionen för hämtning och utvinning att ökas, och indexeringsstorleken och hämtnings komplexiteten kommer också att minskas.
Lin m.fl. partitionerade en webbsida i flera block med HTML-tag <table>, och utnyttjade entropi åtgärd för att partitionera block till informativa eller överflödiga av en uppsättning ordbaserade funktioner REF.
Discovering informative content blocks from Web documents
{'venue': "KDD '02", 'journal': None, 'mag_field_of_study': ['Computer Science']}