Webbresurser blir alltmer interaktiva, vilket resulterar i resurser som blir allt svårare att arkivera. Archival svårigheten är baserad på användningen av klient-side-teknik (t.ex. JavaScript) för att ändra klient-sidan tillstånd av en representation efter att den först har laddat. Vi hänvisar till dessa framställningar som uppskjutna framställningar. Vi kan bättre arkivera uppskjutna representationer med verktyg som huvudlösa webbklienter. Vi använder 10.000 frö Universal Resource Identifiers (URI) för att undersöka effekterna av att inkludera PhantomJS - ett huvudlöst webbverktyg - i krypningsprocessen genom att jämföra prestanda wget (baslinje), PhantomJS, och Heritrix. Heritrix kröp 2.065 URI per sekund, 12,15 gånger snabbare än PhantomJS och 2,4 gånger snabbare än wget. PhantomJS upptäckte dock 531,484 URI, 1,75 gånger mer än Heritrix och 4,11 gånger mer än wget. För att dra nytta av prestandafördelarna med Heritrix och URI upptäckten av PhantomJS, rekommenderar vi en nivåindelad krypning strategi där en klassificerare förutspår om en representation kommer att skjutas upp eller inte, och endast resurser med uppskjutna representationer kryllar av PhantomJS medan resurser utan uppskjutna representationer kryllar av Heritrix. Vi visar att detta tillvägagångssätt är 5,2 gånger snabbare än att bara använda PhantomJS och skapar en gräns (uppsättning av URIs som ska krypas) 1,8 gånger större än att bara använda Heritrix.
Vi föreslog en dubbelgradig krypningsmetod för arkivering av uppskjutna representationer på webbskalan som använder Heritrix och PhantomJS REF.
Archiving Deferred Representations Using a Two-Tiered Crawling Approach
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}