ABSTRACT eScience och big data analytics applikationer står inför utmaningen att effektivt utvärdera komplexa frågor över stora mängder strukturerade textdata arkiverade i nätverkslagringslösningar. För att analysera sådana data i traditionella diskbaserade databassystem, måste det vara bulk laddad, en operation vars prestanda till stor del beror på trådhastigheten hos datakällan och hastigheten på datasänkan, dvs disketten. Eftersom hastigheten på nätverksadaptrar och diskar har stagnerat tidigare, har lastning blivit en stor flaskhals. De förseningar den orsakar är nu allmänt förekommande eftersom textformat är ett föredraget lagringsformat på grund av portabilitet. Men spelet har förändrats: ständigt ökande huvudminne kapacitet har främjat utvecklingen av in-minne databassystem och mycket snabb nätverksinfrastruktur är på gränsen till att bli ekonomiskt. Medan hårdvarubegränsningar för snabb lastning har försvunnit, nuvarande metoder för huvudminnesdatabaser misslyckas med att mätta de nu tillgängliga trådhastigheter på tiotals Gbit/s. Med Instant Loading bidrar vi med en ny CSV-laddningsmetod som möjliggör skalbar bulkbelastning vid trådhastighet. Detta uppnås genom att optimera alla faser av lastning för moderna super-skalar multi-core processorer. Stora huvudsakliga minneskapaciteter och Instant Loading underlättar därmed en mycket effektiv databehandlingsmodell som består av momentana belastnings-arbetslossningscykler över dataarkiv på en enda nod. När data har laddats behandlas uppdateringar och frågor effektivt med flexibilitet, säkerhet och hög prestanda i relationella huvudminnesdatabaser.
Direkt laddning REF är en CSV-laddningsmetod som möjliggör skalbar laddning vid trådhastighet.
Instant Loading for Main Memory Databases
{'venue': 'PVLDB', 'journal': 'PVLDB', 'mag_field_of_study': ['Computer Science']}