Webbsidor består inte bara av faktiskt innehåll, utan även av andra element såsom varumärkesbanners, navigeringselement, annonser, upphovsrätt m.m. Detta bullriga innehåll är vanligtvis inte relaterat till huvudämnena på webbsidorna. Att identifiera den del av själva innehållet, eller klippa webbsidor, har många tillämpningar, såsom högkvalitativt webbtryck, e-läsning på mobila enheter och datautvinning. Även om det finns många befintliga metoder som försöker ta itu med denna uppgift, de flesta av dem kan antingen fungera endast på vissa typer av webbsidor, t.ex. artikelsidor, eller måste utveckla olika modeller för olika webbplatser. Vi formulerar det faktiska innehållet identifiera problemet som en DOM träd nod urval problem. Vi utvecklar flera funktioner genom att använda DOM träd nod egenskaper för att träna en maskin lärande modell. Därefter väljs kandidatnoder baserat på inlärningsmodellen. Baserat på observationen att det faktiska innehållet vanligtvis ligger i ett rumsligt kontinuerligt block, utvecklar vi en grupperingsteknik för att ytterligare filtrera bort bullriga data och plocka saknade data för kandidatnoder. Vi utför omfattande experiment på ett verkligt dataset och visar att vår lösning har hög kvalitet och överträffar flera baslinjemetoder.
Senast, Wu et al. REF formulerade problemet med innehållsidentifiering som ett DOM-trädsnodvalsproblem.
Automatic Web Content Extraction by Combination of Learning and Grouping
{'venue': "WWW '15", 'journal': None, 'mag_field_of_study': ['Computer Science']}