Värdet av kunskapstillgångar som genereras av analysprocesser med hjälp av datavetenskapsteknik tenderar att förfalla över tiden, som en följd av förändringar i de element som processen beror på: externa datakällor, bibliotek och systemberoenden. För storskaliga problem, uppfriskande dessa resultat genom girig omräkning är både dyrt och ineffektivt, eftersom vissa förändringar har begränsad effekt. I detta dokument tar vi itu med problemet med uppfriskande tidigare processresultat selektivt, dvs. genom att försöka identifiera den delmängd av resultaten som kommer att ha påverkats av en förändring, och endast genom att återutföra fragment av den ursprungliga processen. Vi föreslår ett tekniskt tillvägagångssätt för att ta itu med problemet med selektiv omräkning genom att kombinera flera tekniker, och presentera en omfattande experimentell studie i genomics, nämligen variant calling och deras kliniska tolkning, för att visa dess effektivitet. I denna fallstudie kan vi minska antalet nödvändiga omräkningar på en grupp individer från 495 (blind) ner till 71, och att vi kan minska körtiden med minst 60% i förhållande till den naiva blinda metoden, och i vissa fall med 90%. Med utgångspunkt från denna erfarenhet föreslår vi sedan en plan för en generisk omräkning meta-process som använder sig av processhistorik metadata för att fatta välgrundade beslut om selektiva omräkningar i reaktion på en mängd förändringar i data.
Detta är målet för ReComp meta-processen REF.
Selective and Recurring Re-computation of Big Data Analytics Tasks: Insights from a Genomics Case Study
{'venue': 'Big Data Res.', 'journal': 'Big Data Res.', 'mag_field_of_study': ['Computer Science']}