Webbarkiv är en värdefull resurs för forskare inom olika discipliner. För att använda dem som en vetenskaplig källa behöver forskarna dock ett verktyg som ger effektiv tillgång till webbarkivdata för utvinning och härledning av mindre dataset. Förutom effektiv tillgång identifierar vi fem andra mål baserade på praktiska forskningsbehov såsom användarvänlighet, extensibilitet och återanvändbarhet. Mot dessa mål föreslår vi ArchiveSpark, ett ramverk för effektiv, distribuerad webbarkivbehandling som bygger en forsknings corpus genom att arbeta på befintliga och standardiserade dataformat som vanligtvis innehas av webbarkiveringsinstitut. Prestandaoptimeringar i ArchiveSpark, som underlättas av användning av ett allmänt tillgängligt metadataindex, resulterar i betydande hastighetsökningar av databehandling. Våra riktmärken visar att ArchiveSpark är snabbare än alternativa tillvägagångssätt utan att vara beroende av ytterligare datalager samtidigt som användbarheten förbättras genom att sömlöst integrera frågor och derivationer med externa verktyg.
Ur det tekniska perspektivet är den mest anmärkningsvärda relaterade analysplattformen ArchiveSpark REF, även byggd på Apache Spark, som "ger effektiv tillgång till webbarkivdata för extraktion och härledning av mindre dataset".
ArchiveSpark: Efficient Web Archive Access, Extraction and Derivation
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}