Dataintag är en viktig del av företag och organisationer som samlar in och analyserar stora mängder data. Detta dokument beskriver Gobblin, ett generiskt ramverk för intagning av data för Hadoop och en av LinkedIns senaste open source-produkter. På LinkedIn måste vi inta data från olika källor såsom relationsbutiker, NoSQL-butiker, streamingsystem, REST-slutpunkter, filsystem etc. I våra Hadoop-kluster. Att upprätthålla oberoende rörledningar för varje källa kan leda till olika operativa problem. Gobblin syftar till att lösa denna fråga genom att tillhandahålla ett centraliserat ramverk för dataintag som gör det enkelt att stödja intag av data från en mängd olika källor. Gobblin skiljer sig från liknande ramar genom att fokusera på tre grundläggande principer: allmängiltighet, extensibilitet och funktionsförmåga. Gobblin stöder en blandning av datakällor ut-of-the-box och kan enkelt förlängas för mer. Detta gör det möjligt för en organisation att använda ett enda ramverk för att hantera olika dataintag behov, vilket gör det enkelt och billigt att driva. Dessutom, med en end-to-end metrics insamling och rapportering modul, Gobblin gör det enkelt och effektivt att identifiera problem i produktionen.
Qiao et al REF utvecklade Gobblin, ett generiskt ramverk för intagning av data på LinkedIn.
Gobblin: Unifying Data Ingestion for Hadoop
{'venue': 'PVLDB', 'journal': 'PVLDB', 'mag_field_of_study': ['Computer Science']}