Sammanfattning av denna webbsida: Sentimentanalys på Twitter Data är verkligen ett utmanande problem på grund av datans natur, mångfald och volym. Människor tenderar att uttrycka sina känslor fritt, vilket gör Twitter till en idealisk källa för att samla en stor mängd åsikter mot ett brett spektrum av ämnen. Denna mängd information erbjuder en enorm potential och kan utnyttjas för att ta emot känslan av dessa ämnen. Men eftersom ingen kan investera oändligt mycket tid för att läsa igenom dessa tweets, är en automatiserad beslutsprocess nödvändig. De flesta befintliga lösningar är dock begränsade endast i centraliserade miljöer. Därför kan de bara bearbeta högst några tusen tweets. Ett sådant urval är inte representativt för att definiera känslan polaritet mot ett ämne på grund av det stora antalet tweets publiceras dagligen. I detta arbete utvecklar vi två system: det första i MapReduce och det andra i Apache Spark ramverket för programmering med Big Data. Algoritmen utnyttjar alla hashtaggar och smilisar inuti en tweet, som känsloetiketter, och går vidare till en klassificeringsmetod av olika känslotyper på ett parallellt och distribuerat sätt. Dessutom är känsloanalysverktyget baserat på maskininlärningsmetoder vid sidan av naturliga språkbehandlingsmetoder och använder Apache Sparks maskininlärningsbibliotek, MLlib. För att ta itu med karaktären av Big Data introducerar vi några förbearbetningssteg för att uppnå bättre resultat i Sentiment Analysis samt Bloom filter för att komprimera lagringsstorleken på mellandata och öka prestandan hos vår algoritm. Slutligen utbildades och validerades det föreslagna systemet med verkliga data som kröp fram av Twitter, och genom en omfattande experimentell utvärdering visar vi att vår lösning är effektiv, robust och skalbar samtidigt som vi bekräftar kvaliteten på vår känsloidentifiering.
Slutligen, en ny distribuerad ram som genomförs i Hadoop samt i Spark för att utnyttja hashtaggar och smilisar inuti en tweet införs i REF.
Large Scale Implementations for Twitter Sentiment Classification
{'venue': 'Algorithms', 'journal': 'Algorithms', 'mag_field_of_study': ['Computer Science']}