Abstract-I detta papper studerar vi problemet med gruvdrift den informativa strukturen på en nyhetswebbplats som består av tusentals hyperlänkade dokument. Vi definierar den informativa strukturen på en nyhetswebbplats som en uppsättning indexsidor (eller kallas TOC, dvs. innehållsförteckning, sidor) och en uppsättning artikelsidor som länkas till dessa TOC-sidor. Baserat på algoritmen Hyperlink Inducted Topics Search (HITS) föreslår vi en entropibaserad analysmekanism (Lamis) för att analysera ankartexternas entropi och länkar för att eliminera redundansen hos den hyperlänkade strukturen så att den komplexa strukturen på en webbplats kan destilleras. Men för att öka värdet och tillgängligheten av sidor tenderar de flesta av innehållssidorna att publicera sina sidor med redundant information inom webbplatsen, såsom navigeringspaneler, annonser, kopieringsmeddelanden, etc. För att ytterligare eliminera sådan redundans föreslår vi en annan mekanism, kallad InfoDiscoverer, som tillämpar den destillerade strukturen för att identifiera uppsättningar av artikelsidor. InfoDiscoverer använder också entropiinformation för att analysera informationsåtgärder i artikeluppsättningar och för att extrahera informativa innehåll block från dessa uppsättningar. Vårt resultat är användbart för sökmotorer, informationsagenter och krypskyttar för att indexera, extrahera och navigera viktig information från en webbplats. Experiment på flera riktiga nyheter Webbplatser visar att precisionen och återkallandet av våra metoder är mycket överlägsen dem som erhållits genom konventionella metoder i gruvdrift de informativa strukturerna av nyheter webbplatser. I genomsnitt, den förstärkta LAMIS leder till framträdande prestandaförbättring och ökar precisionen med en faktor från 122 till 257 procent när den önskade återkallelsen faller mellan 0,5 och 1. Jämfört med manuella heuristiker är precisionen och återkallandet av InfoDiscoverer större än 0,956.
Kao m.fl. REF använde entropiinformationen för att analysera informationsmåtten i artikeluppsättningar.
Mining Web informative structures and contents based on entropy analysis
{'venue': 'IEEE Transactions on Knowledge and Data Engineering', 'journal': 'IEEE Transactions on Knowledge and Data Engineering', 'mag_field_of_study': ['Computer Science']}