Storm har länge fungerat som huvudplattform för realtidsanalys på Twitter. Men eftersom omfattningen av data som behandlas i realtid på Twitter har ökat, tillsammans med en ökning av mångfalden och antalet användningsfall, har många begränsningar av Storm blivit uppenbara. Vi behöver ett system som skalar bättre, har bättre felsökningsbarhet, har bättre prestanda och är lättare att hantera – samtidigt som vi arbetar i en delad klusterinfrastruktur. Vi övervägde olika alternativ för att möta dessa behov, och i slutändan kom vi fram till att vi behövde bygga ett nytt realtidssystem för databehandling. I detta dokument presenteras utformningen och genomförandet av detta nya system, som kallas Heron. Heron är nu den faktiska stream data processing motorn inne Twitter, och i detta papper delar vi också våra erfarenheter från att köra Heron i produktionen. I detta dokument lägger vi också fram empiriska bevis som visar Herons effektivitet och skalbarhet.
Kulkarni m.fl. REF diskuterar begränsningarna med Storm i behandlingen av den ökande mängden data på Twitter, och de utformar och genomför Heron, en ny streaming data processing motor för att ersätta Storm.
Twitter Heron: Stream Processing at Scale
{'venue': "SIGMOD '15", 'journal': None, 'mag_field_of_study': ['Computer Science']}