Huvudinnehållet på en webbsida är oftast centrerat och synligt utan att behöva rulla. Den avrundas ofta av webbplatsens navigationsmenyer och kan innehålla annonser, paneler, banners och annan inte nödvändigtvis relaterad information. Processen för att automatiskt extrahera huvudinnehållet på en webbsida kallas innehållsextraktion. Innehållsextraktion är ett forskningsområde av stort intresse på grund av dess många tillämpningar. Konkret är det användbart inte bara för den slutliga mänskliga användaren, men det används också ofta som en förbearbetning fas av olika system (dvs. robotar, indexörer, krypskyttar, etc.) som behöver extrahera det huvudsakliga innehållet i ett webbdokument för att undvika behandling och behandling av annan värdelös information. I detta arbete presenterar vi en ny teknik för innehållsextraktion som bygger på informationen i DOM-trädet. Tekniken analyserar de hierarkiska sambanden mellan elementen på webbsidan och distributionen av textinformation för att identifiera huvudblocket av innehåll. Tack vare DOM-trädets hierarki uppnår tekniken en betydande reträtt och precision. Med hjälp av DOM struktur för innehåll utvinning ger oss fördelarna med andra metoder baserat på syntax på webbsidan (såsom tecken, ord och taggar), men det ger oss också en mycket exakt information om de relaterade komponenterna i ett block (inte nödvändigtvis text som bilder eller videor), vilket leder till mycket sammanhållna block.
Användning av Word to leaf ratio (WLR) REF för innehållsextraktion är ett nytt tillvägagångssätt.
Using the words/leafs ratio in the DOM tree for content extraction
{'venue': 'J. Log. Algebr. Program.', 'journal': 'J. Log. Algebr. Program.', 'mag_field_of_study': ['Computer Science', 'Mathematics']}