Traditionella databasoperatörer som snickrar är relevanta inte bara i samband med databasmotorer utan också som byggsten i många beräknings- och maskininlärningsalgoritmer. Med tillkomsten av big data, det finns en ökande efterfrågan på effektiva gå algoritmer som kan skala med inmatningsdata storlek och tillgängliga hårdvaruresurser. I detta dokument undersöker vi implementeringen av distribuerade gå algoritmer i system med flera tusen kärnor anslutna av ett låglatent nätverk som används i högpresterande datorsystem eller datacenter. Vi jämför radix hash gå med för att sortera-sammanfoga gå algoritmer och diskutera deras genomförande i denna skala. I dokumentet förklarar vi hur man använder MPI för att genomföra anslutningar, visa effekten och fördelarna med RDMA, diskutera vikten av nätverksplanering, och studera den relativa prestanda sortering vs. hashing. De experimentella resultaten visar att algoritmerna vi presenterar skalar väl med antalet kärnor, når ett genomflöde på 48,7 miljarder ingång tuples per sekund på 4 096 kärnor.
Barthels m.fl. REF använde MPI för att utforska prestandan hos distribuerade gå algoritmer i HPC-system med tusentals CPU-kärnor.
Distributed Join Algorithms on Thousands of Cores
{'venue': 'PVLDB', 'journal': 'PVLDB', 'mag_field_of_study': ['Computer Science']}