Framgången med datadrivna lösningar på svåra problem, tillsammans med de sjunkande kostnaderna för lagring och bearbetning av stora mängder data, har lett till ett ökat intresse för storskalig maskininlärning. I detta dokument presenteras en fallstudie av Twitters integrering av verktyg för maskininlärning i dess befintliga Hadoop-baserade, Pig-centrerade analysplattform. Vi börjar med en översikt över denna plattform, som hanterar "traditionella" datalagring och affärsunderrättelseuppgifter för organisationen. Kärnan i detta arbete ligger i de senaste förlängningarna av Gris för att ge prediktiva analysfunktioner som inkluderar maskininlärning, särskilt inriktad på övervakad klassificering. I synnerhet har vi identifierat stokastisk lutning nedstigning tekniker för online lärande och ensemble metoder som mycket amenable till skalning ut till stora mängder data. I vår utplacerade lösning kan vanliga maskininlärningsuppgifter som dataprovtagning, funktionsgenerering, utbildning och testning utföras direkt i Gris, via noggrant tillverkade lastare, lagringsfunktioner och användardefinierade funktioner. Detta innebär att maskininlärning är bara en annan Pig-skript, vilket möjliggör sömlös integration med befintlig infrastruktur för datahantering, schemaläggning och övervakning i en produktionsmiljö, samt tillgång till rika bibliotek av användardefinierade funktioner och materialiserad utdata från andra skript.
Twitters ML integration REF använder funktioner för lagring av svin.
Large-scale machine learning at twitter
{'venue': 'SIGMOD Conference', 'journal': None, 'mag_field_of_study': ['Computer Science']}