Abstrakta webbarkiv försöker bevara den snabbt föränderliga webben, men de kommer alltid att vara ofullständiga. På grund av restriktioner i krypdjup, krypfrekvens och restriktiva urvalspolicyer är stora delar av webben oarkiverade och därför förlorade till eftervärlden. I detta dokument föreslår vi ett tillvägagångssätt för att avslöja oarkiverade webbsidor och webbplatser och för att rekonstruera olika typer av beskrivningar för dessa sidor och webbplatser, baserat på länkar och ankartext i uppsättningen av krälade sidor. Vi experimenterar med detta tillvägagångssätt på den holländska webbarkivet och utvärderar nyttan av sida och värd-nivå representationer av oarkiverat innehåll. Våra viktigaste resultat är följande: För det första innehåller den krypande webben bevis på ett anmärkningsvärt antal oarkiverade sidor och webbplatser, potentiellt dramatiskt öka täckningen av ett webbarkiv. För det andra har länken och ankartexten en mycket skev distribution: populära sidor som hemsidor har The Open University, Ra'anana, Israel fler länkar som pekar på dem och fler termer i ankartexten, men rikedomen tar fart snabbt. Aggregerande webbplats bevis till värdnivå leder till betydligt rikare representationer, men distributionen förblir skev. För det tredje är den kortfattade representationen i allmänhet tillräckligt rik för att unikt identifiera sidor på den oarkiverade webben: i en känd objektsökmiljö kan vi hämta oarkiverade webbsidor inom de första leden i genomsnitt, med representationer på värdnivå som leder till ytterligare förbättring av hämtningseffektiviteten för webbplatser.
Användningen av länkstrukturen och ankartexter för att avslöja och rekonstruera målsidor som inte arkiverades studerades i REF, baserat på en djup-först krypning av manuellt utvalda webbplatser.
Lost but not forgotten: finding pages on the unarchived web
{'venue': 'International Journal on Digital Libraries', 'journal': 'International Journal on Digital Libraries', 'mag_field_of_study': ['Computer Science']}