Kommer high-cadensce bredfält optiska teleskop kommer att avbilda hundratusentals källor per minut. Förutom att inspektera de nära realtid dataströmmar för övergående och variabilitet händelser, är det ackumulerade dataarkivet ett rikt laboratorium för att göra kompletterande vetenskapliga upptäckter. Målet med detta arbete är att optimera kolumnorienterade databastekniker för att göra det möjligt att bygga en databas med full källkod och ljuskurvor för storskaliga undersökningar, som är tillgänglig för det astronomiska samhället. Vi antog LOFAR's Transients Pipeline som baslinje och modifierade den för att möjliggöra bearbetning av optiska bilder som har mycket högre källa densiteter. Rörledningen lägger till nya källlistor till arkivdatabasen, samtidigt som den korsmatchar dem med de kända katalogiserade källorna för att bygga ett komplett ljuskurvarkiv. Vi undersökte flera tekniker för att indexera och partitionera de största tabellerna, vilket möjliggör snabbare positional source-look-ups i korsmatchande algoritmer. Vi övervakade alla frågekörningstider i långsiktiga rörledningar där vi behandlade en delmängd av IPHAS data som har bildkälla densitet toppar över 170 000 per synfält (500, 000 deg −2 ). Vår analys visar att horisontella bord partitioner av deklinationsbredder av en grad styr frågekörningstiderna. Användning av en indexstrategi där partitionerna är densily sorterade enligt källa deklination ger en annan förbättring. De flesta frågor körs i sublinjär tid och några (< 20%) kör i linjär tid, på grund av beroenden på indata källlista och resultatuppsättning storlek. Vi observerade att för denna logiska databas partitionering schema den begränsande kadens rörledningen uppnås med bearbetning av IPHAS data är 25 sekunder.
Syftet med författarna i REF är att optimera en kolumnorienterad databas för att möjliggöra stöd av storskaliga undersökningar.
Fast in-database cross-matching of high-cadence, high-density source lists with an up-to-date sky model
{'venue': 'A&C 23 (2018) 27-39', 'journal': None, 'mag_field_of_study': ['Computer Science', 'Physics']}