Det senaste årtiondet har bevittnat den dramatiska expansionen av sociala nätverk online (nedan kallade OSN) på global nivå. Allt fler människor anställer OSN i sitt dagliga liv för att få tillgång till information, uttrycka åsikter och dela erfarenheter med sina kamrater. Som ett resultat av detta genereras massiva volymer av innehåll varje dag från många sociala medier. Ett typiskt exempel är Facebook, som nyligen rapporterades ta emot 10 miljoner nya fotografier varje timme [1]. En betydande del av innehållet på nätet är förknippat med filmdomänen, eftersom många OSN (som Rotten Tomatoes, FilmCrave och Twitter) ger filmfantaster praktiska mekanismer för att publicera och dela med sig av sina åsikter eller kommentarer om filmer på nätet. Framtida tittare är alltmer benägna att förlita sig på online recensioner för att göra sina egna val visning, samt en lista över filmer som de kan kommentera (men inte nödvändigtvis se). Som ett resultat, undersöka användargenererat innehåll (hädanefter abstrakt analys av online användargenererat innehåll uppmärksammas för sina breda tillämpningar från både akademiska forskare och bransch intressenter. I denna pilotstudie tar vi upp vanliga Big Data-problem med tidsbegränsningar och minneskostnader i samband med användning av vanlig hårdvara och programvara med en maskin. En ny Big Data processing ram föreslås för att undersöka en nisch delmängd av användargenererat populärkulturinnehåll på Douban, ett välkänt kinesiskt språk online sociala nätverk. Stora dataprover skördas via en asynkron skrapande krypare. Vi diskuterar också hur man kan manipulera heterogena funktioner från råprover för att underlätta analys av olika filmdetaljer, granskningskommentarer och användarprofiler på Douban med särskild hänsyn till en våg av sydkoreanska filmer (2003)(2004)(2005)(2006)(2007)(2008)(2009)(2010)(2011)(2012)(2013)(2014), som har ökat i popularitet bland kinesiska filmfantaster. Dessutom föreslås en förbättrad Apriori-algoritm baserad på MapReduce för innehållsmineringsfunktioner. En experimentell simulering av resultaten visar flexibiliteten och tillämpligheten av det föreslagna ramverket för att extrahera relevant information från komplexa sociala mediedata, kunskap som i sin tur kan utvidgas utöver detta nischdataset och användas för att informera producenter och distributörer av filmer, tv-program och annat digitalt medieinnehåll. Nyckelord: Sociala medier, Användargenererat innehåll, Big data analytics, Content mining, Parallel association-rule mining © 2016 Yang and Yecies. Denna artikel distribueras enligt villkoren i Creative Commons Atttribution 4.0 International License (http://creativecommons.org/licenses/by/4.0/), som tillåter obegränsad användning, distribution och reproduktion i alla medier, förutsatt att du ger lämplig kredit till den ursprungliga upphovsmannen och källan, ge en länk till Creative Commons licens, och ange om ändringar gjordes. Yang and Yecies Journal of Big Data (2016) Data (2016) 3:3 UGC) för att upptäcka betydande mönster som genereras av dessa online-publiker blir allt vanligare [2] [3] [4] [5]. Fördelarna med denna typ av forskning härrör från flera aspekter. Till exempel, UGC analys avslöjar hur elektronisk word-of-mouth (hädanefter eWOM) kan användas som ett kraftfullt kommunikationsverktyg och sociala nätverk kanal för att sprida medvetenheten om en viss film i både offline- och online-världar. Dessutom minskar denna analys klyftan mellan filmproducenten och publiken genom att erbjuda en bättre förståelse för konsumenternas åsikter. Tillhandahållandet av medieinnehåll kan i sin tur anpassas i fråga om produktion, distribution, utställning och därtill hörande reklam. Genom att förutsäga publikens preferenser och framtida beteenden kan inte bara näringslivets intressenter främja sitt innehåll mer effektivt, utan en förbättrad användarupplevelse kan erbjudas, och publiken kan få bättre hjälp med att hitta filmer som är relaterade till deras särskilda intressen. En undersökning av den relevanta litteraturen visar att utredarna har utarbetat ett antal metoder för analys av UGC i samband med filmmedier [3, 4, [6] [7] [8]. Den känsloanalys som tillämpas på filmrecensioner utlovar till exempel en bättre förståelse för publikens åsikter. UGC-baserade förutsägelsesystem har också föreslagits i fråga om filmbetyg och box office-prestanda. Dessutom kan filmrekommenderingssystem betraktas som ett annat viktigt resultat av UGC-analys. Vissa av dessa tillvägagångssätt ses över i "Relaterat arbete". Men oavsett det växande intresset för UGC analys i allmänhet, har det varit lite forskning om potentiella sociala fördelar och kommersiella tillämpningar av kinesiska eWOM som ett verktyg för att utveckla och utnyttja UGC. Dessutom fokuserar de flesta befintliga arbeten på en viss aspekt av tillgängliga data (främst filmrecensioner) eller specifika mätvärden (såsom box office-statistik eller filmbetyg) som analyseras med en genomsnittlig enskild maskin (dvs. en dator med 4 kärnor och 4 spelningar minne). Dessa resultat är otillräckliga för att ge en komplett ram för att täcka alla delar av publikens erfarenhet, eller mäta effekterna av både interna och externa faktorer samtidigt som analysprocesserna utförs i rätt tid och på ett effektivt sätt. Ännu viktigare, med den exponentiella anhopningen av UG.C, de utmaningar som är förknippade med de stora fyra "V" problem datavolym (antal filmer, användare, och genererade recensioner), variation (olika dataformat), hastighet (streaming kommentarsdata) och sannfärdighet (språkosäkerhet) fortsätter att föröka sig. Detta är ett typiskt scenario för behandling av stora data, vilket är svårt att hantera med traditionella analysmetoder. Det finns därför ett ökande behov av att utveckla alternativa ramar för att genomföra UGC-analys. Vårt mål är att utveckla en effektiv och praktisk men ny teknik för att undersöka stora kinesiska-språk datamängder i samband med publikens svar på internationella medier innehåll en som är överlägsen dem som finns tillgängliga för forskare med hjälp av traditionella kvalitativa och kvantitativa undersöknings- eller analysinstrument. Med detta syfte i sikte beskriver detta dokument ett innovativt samlings- och analysverktyg, kallat Douban-Learning, dvs. ett varumärke snarare än ett påstående om systemets intelligens, som har utformats för att underlätta UGC-baserad datautvinning inom filmdomänen. Den stora skillnaden som skiljer vårt uppfinningsarbete från konventionella metoder är att den föreslagna ramen är utformad för att ta itu med Big Data problem i samband med ett beroende av en enda maskin utrustad med genomsnittlig hårdvara och programvara, samtidigt som den uppfyller typen av kostsamma datalagring och Data (2016) 3:3 beräkningskrav som omfattas av tidigare studier [9, 10]. De viktigaste bidragen som erbjuds här kan sammanfattas på följande sätt: • Ett effektivt ramverk, Douban-Learning, implementeras för stora volymer av databehandling i sociala medier baserat på Hadoop-plattformen. Användargenererat innehåll samlas in, distribueras, lagras och behandlas på det distribuerade filsystemet Hadoop (HDFS). • En asynkron skrapkrypare implementeras via en kö med flera uppgifter, vilket underlättar datainsamlingen på ett effektivt och samtidigt sätt. • Flera heterogena funktioner genereras för att representera rådata i samband med en mängd olika filmdetaljer (dvs. Skådespelare, regissör, författare och berättelse element som vanligtvis finns i engelskspråkiga kommentarer på de flesta OSNs), film recensioner och användarprofiler. En ny process för extraktion, omvandling och belastning (ETL) införs för att underlätta kvantifiering; • En förbättrad Apriori-algoritm baserad på MapReduce föreslås för att öka flexibiliteten och effektiviteten i Big Data mining. Den ram som föreslås här kan i sin tur informera om strategier inte bara för att producera och marknadsföra filmer med särskilda aktörer, tomtelement och platser osv., utan också för att ändra eller lokalisera berättelser för specifika marknader, regioner och målgrupper. Resten av detta dokument är organiserat enligt följande. I "Relaterat arbete" går vi kort igenom några befintliga arbeten för UGC-analys som är relevanta för vårt arbete. Därefter introducerar vi ramverket Douban-Learning i "Experimentella resultat", där tre viktiga moduler diskuteras när det gäller datainsamling, funktionsgenerering och innehållsutvinning. Vår föreslagna ram utvärderas i "Experimentella resultat", och i "Slutsats" erbjuder vi vår slutsats och föreslår ytterligare framtidsutsikter för systemet. I detta avsnitt ges en kort översikt över den senaste forskningen när det gäller UCC-baserad analys. För det första undersöker vi sensibilitetsanalys,  hämtad från användarnas kommentarer. Vi diskuterar sedan det UGC-baserade förutsägelsesystemet för filmbetyg eller box office-prestanda. Vi undersöker vidare en befintlig populär tillämpning av UGC-analys: rekommendationssystem. Slutligen finns det också en del befintliga processarkitekturer och kapacitet för gruv-UGC. En av de viktigaste rollerna för UGC gruvbrytning är att förstå användarnas attityd eller preferenser via känsloanalys. Även om känsloanalys har varit ett viktigt ämne för behandling av naturligt språk i många år, bara nyligen har det lockat intresset för Web-mining forskare. En anledning till denna förändring är den ökande populariteten och tillgängligheten av stora samlingar av ämnesorienterade data över online granskningsplatser, mikrobloggar och sociala nätverkssajter. För våra syften tillämpas känsloanalys främst på filmrecensioner för att extrahera subjektiv information från kommentarerna från vissa målgrupper och kategorisera dem som positiva, neutrala eller negativa. För att uttrycka ämnet i matematiska termer: låt x = {x 1, x 2, · · ·, x n } vara en tuple som representerar Journal of Big Data (2016) 3:3 n-textuella funktioner som extraheras från en granskning, och y  med positiv, neutral, negativ vara klassens etikett. Sentimentanalys syftar till att utbilda en klassificerare som extraherar beslutsregeln med förbehåll för följande begränsning: där f (·) är en okänd beslutsfunktion som ska uppskattas av klassificeringsgivaren, och e är motsvarande fel. I grund och botten spelar textfunktioner (x) och klassificeringsfunktion (f(·)) den största och mest kritiska rollen när det gäller att exakt bestämma känslan av en viss granskning. Ett antal olika textegenskaper eller klassificeringar har föreslagits för att komplettera tidigare studier som vår studie bygger på. I [3], en heuristisk känsla analys av film recensioner föreslås. Med tanke på ordklassen utforskar metoden textfunktioner med hjälp av kombinationen "Adverb", "Adjective" och "Verb" för granskningsklassificeringen. Samad m.fl. tillhandahålla en hybridalgoritm för att bestämma individers vyer genom att kombinera stöd vektor maskin (SVM) och partikel svärm optimering (PSO) algoritmer som klassificeraren [6]. Två typiska egenskaper, ordfrekvens och term frekvens-invers dokumentfrekvens (TF-IDF), extraheras för utbildningsändamål. Experimentella resultat visar att hybridiseringen av SVM med PSO förbättrar klassificeringsnoggrannheten jämfört med konventionella SVM-klassificeringar. En sammanfattning algoritm föreslås i [11], där latent semantisk analys (LSA) metod används för att identifiera textfunktioner, som är tillgängliga för experter och icke-experter på grund av deras utseende i allmänna webbplatser såsom den populära Internet Movie Data Base (aka IMDB) online webbplats och mobil applikation. Som ett resultat av detta representeras filmrecensioner med hjälp av funktionsbaserad sammanfattning. En omfattande studie av film tweets finns i [12]. Omkring 10.000 tweets samlas in och märks manuellt, och sedan varje omvandlas till en binär textfunktion för att träna en SVM klassificering. Andra analyser av känslor återfinns också i [13] [14] [15]. Filmintäkter och statistik över biljettkontor är kritiska mätningar för att kvantifiera en films kommersiella framgång. Ändå erbjuder publikrecensioner från rå UGC-hytt också en praktisk modell för att förutsäga filmprestanda. Som med känsloanalys, Eq. (1) kan också användas som en allmän modell för prognossystemet. Men klassetiketten y gäller nu för filmens intäkter snarare än dess känsla. År [4] extraheras 14 nyckelord (såsom "kärlek", "underbar", "bästa") som textegenskaper. Då är en Na?ve Bayes klassificerare tränad för att förutsäga trender på biljettkontoret. Yu m.fl. föreslå en metod baserad på probabilistisk latent semantisk analys (PLSA) för att extrahera känslofaktorer, och två autoregressiva modeller sedan implementeras för förutsägelse [7]. Experimentell analys visar att positiva känslor är starka indikatorer på filmprestanda. På samma sätt används PLSA-metoden [16] för att identifiera textfunktioner. Dessutom används en Fuzzy logik metod för att kvantifiera extraherade funktioner, följt av tillämpningen av en regressionsmodell för förutsägelse. En annan fuzzy-baserad hierarki metod används i [17] för att generera funktioner som kännetecknas av information kvalitet och källa trovärdighet. Real-world dataprover samlas sedan in från fyra OSNs, inklusive Adityas, Rotten Tomatoes, FilmCrave och Teaser Trailer, för att genomföra förutsägelsen. Effekten av ett annat viktigt OSN (Twitter) på filmförsäljningen Data (2016) 3:3 undersöks också [18]. Experimentella resultat visar att positiva tweets verkligen är förknippade med högre filmförsäljning, medan negativa filmkommentarer vanligtvis återspeglar lägre filmförsäljning. (Anse att förutsägelsemodellerna i [7, 16, 18] är baserade på den (logistiska) regressionsmodellen.) Vissa andra klassificeringar, såsom neurala nätverk, föreslås i [19, 20]. De överlägsna simuleringsresultat som erhållits visar effekten av neurala nätverksbaserade modeller över regressionsförutsägelsen. Film rekommendationssystem, en av de mest populära tillämpningarna av UGC analys, syftar till att föreslå nya filmer till publiken baserat på deras etablerade preferenser (genererat från historiska användares innehåll). De flesta befintliga rekommendationssystem kan delas in i två kategorier: samarbetsfiltrering (CF) och innehållsbaserade (CB) metoder. CF-metoder ger rekommendationer baserade på en grupp användare utanför urvalsgruppen med liknande filmpreferenser. Med tanke på en användarlista U = {u i  på U}, för alla målanvändare u i, CF metoder generera en sorterad användarlista U, som uppfyller följande villkor: • U  på U, och u i /  på U; • sim u j, u i ≥ sim{u k, u i }, under förutsättning att u j, u k U och j < k. Variabeln sim u j, u i representerar likheten mellan användare u j och u i. Genom att hitta de mest liknande användare till u i, film rekommendationen görs genom att aggregera den historiska tittande information från U. Exempel på CF-baserade film rekommendationssystem inkluderar [5, 21, 22]. Däremot tar CB:s rekommendationssystem hänsyn till filmmetadata såsom filmgenrer, skådespelare, regissörer och grundläggande beskrivningar [23] [24] [25]. Det vill säga, sambandet mellan filmer används som de viktigaste kriterierna för filmrekommendationer. Låt listan M = {m i  och M} vara den tidigare recenserade filmlistan för i-th-användaren. Låt funktionen innehåll(·) representera filmmetadata, d.v.s. en uppsättning fördefinierade attribut eller funktioner som karakteriserar filmer. Följaktligen, CB metoder uppskattar en användares (u i ) preferens för någon film m j (m j / M) baserat på dess likhet med M: På senare tid, vissa hybridalgoritmer har föreslagits för att förbättra noggrannheten av rekommendationer. Till exempel, i [8], både CF och CB-baserade rekommendationer används parallellt. En K-nearest-grannskap algoritm genomförs för att uppskatta likhet. Under tiden, kluster algoritmer kombineras också med CF-metoden för att gruppera ihop liknande filmer innan rekommendation [26]. Löjtnant m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m för m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m. ytterligare föreslå att använda en fuzzy K-means algoritm för att kluster filmer med liknande profiler [27]. Dessa hybridalgoritmer visar sin överlägsenhet över traditionella rekommendationssystem genom att ta itu med problem som data gleshet och kallstart. (2) sim M, m j = siminnehåll(m i ), innehåll(m j ). Sida 6 av 23 Yang and Yecies Journal of Big Data (2016) 3:3 UGC gruvbaserad analys kan också tillämpas för att upptäcka relevant kunskap och förbättra beslutsprocesser för individer och organisationer. I detta sammanhang omfattar några exempel på befintlig arkitektur och bearbetningsförmåga affärsintelligens, marknadsföring och katastrofhantering. I [28] presenterar författarna till exempel en marknadsföringskampanj för att använda Facebook UGC. En streamingmodell upprättas för att förutsäga antalet besök, vinst eller till och med avkastning på investeringar (ROI) när det gäller reklaminslag. En annan mekanism för att analysera reklamens effekter genomförs i [29]. Genom att analysera råinnehåll som tidsstämpel, varumärkesfrekvens och individuella svar avslöjar resultaten kundernas känslor för ett varumärke samt andra ekonomiska och sociala variabler som påverkar ett företag. Dessutom visar forskning i [30, 31] att moderna företag som utnyttjar UGC-analys verkar överträffa sina konkurrenter och rapportera kommersiella fördelar såsom kostnadseffektivitet och förbättrade effektivitetsvinster. Dessutom föreslås i studien [32] en tvåmodellsstrategi för att undersöka återhämtning efter katastrofer med hjälp av data från sociala medier. Användargenererat innehåll delas först upp i aktiva och passiva perspektiv, sedan tillämpas en kommunikationsmedling och odlingsmodell. Analysresultat visar att sociala medier skapar positiva effekter vid återhämtning efter sjukdom. Trots den mängd forskning som ägnats åt UGC-analys har det mesta av det arbete som hittills utförts fokuserat på särskilda aspekter av filminnehåll. Samtidigt har det inte gjorts någon större analys av det kinesiska kulturbaserade användarinnehållet, vare sig när det gäller användarnas demografiska profiler eller deras språkvanor. Viktigare är att det befintliga arbetet huvudsakligen utförs med hjälp av en genomsnittlig enda maskin eller till och med manuell beräkning. Många utmaningar i samband med datavolymer, variation, hastighet och sannfärdighet är fortfarande olösta i konventionell UGC-analys. Med hänsyn till alla dessa aspekter föreslås ramverket Douban-Learning som ett effektivt verktyg för behandling av stora data för kinesiska sociala medieplattformar, med möjlighet att täcka datainsamling, utvinning av funktioner och utvinning av innehåll. Den föreslagna ramen har ett antal fördelar som ökar dess nytta i verkliga tillämpningar: • Till skillnad från de flesta konventionella metoder, Douban-Learning underlättar massiv dataanalys; • Douban-Learning gör det möjligt för experter att tillämpa flera mätvärden för att beskriva eller förklara funktioner som kan ge resultat från flera perspektiv; • Douban-Learning producerar analytiska resultat med hjälp av associationsresultat, fynd som lätt kan tolkas och tydligt uttrycks för användning i beslutsfattandet. I detta avsnitt ger vi först lite bakgrundsinformation om studieområdet, bland annat ett känt kinesiskt OSN som är, Douban och dess användares attityder till sydkoreanska (nedan kallade koreanska) filmer. Douban filmforum, som har engagerat sig i en ökande våg av koreanska filmer och stjärnor sedan de koreanska och kinesiska regeringarna och deras respektive filmindustrier började planera ett samproduktionsavtal 2011, är Data (2016) 3:3 den överlägset största aspekten av detta OSN. Därefter införs ramverket för behandling av stora data och genomförandet av dess tre huvudmoduler diskuteras. Den implementerade kvantifieringsalgoritmen och Hadoop-plattformen introduceras också här. Sedan slutet av 1990-talet har koreansk film blivit en av de mest dynamiska nationella biograferna i världen. Koreanska filmer har gjort transnationella förbindelser över hela Asien och bortom, genom sina stilistiska trender och experiment med berättande och genrer [33]. Med tanke på den grundläggande roll och betydelse som koreansk film intar på den globala scenen är det föga förvånande att det finns ett parallellt fenomen i online-världen. I denna artikel fokuserar vi snävt på koreanska filmer och deras inflytande på Douban, en av de största intresseorienterade kinesiska OSNs. Denna sociala webbplats lockar mer än 100 miljoner aktiva besökare per månad, och har samlat över 65 miljoner registrerade användare. Under 2015 nås över 30 % av de kinesiska Internetanvändarna, vilket gör denna plattform till en stor magnet för filmfantaster i hela Kina. Doubananvändare kan sprida sina åsikter om ett brett spektrum av dessa internationella filmer och ge rekommendationer till sina anhängare och vänner. Resultatet är generering av stora mängder egenintresserade användarjournaler. Dock dokumentera dessa offentligt tillgängliga online-skivor och gruva dem för användbar information om kinesiska filmpubliker och deras beteende mot internationella filmer är ett utmanande företag särskilt med en enda maskin. Det innebär insamling av enorma mängder data som skapas av filmgranskare, allt från enskilda användare till geografiskt baserade avrinningsområden som växer över tiden. För att få en omfattande förståelse för kinesiskt baserade UGC på detta område måste dessutom en mängd olika faktorer beaktas, såsom specifika egenskaper hos filmer och filmrecensioner samt användarprofiler. Sammanfattningsvis erbjuder Douban OSN stor potential i Big Data ansökan för att analysera kinesiska UGC på sätt som andra studier såsom [34] har ännu att behärska. För att utforska denna snabbt föränderliga arena valde vi totalt 114 koreanska filmer som släpptes mellan 2003 och 2014. I denna undergrupp ingår de tio bästa filmerna varje år enligt koreansk statistik över biljettförsäljningen, som är allmänt tillgängliga i Koreas filmråds onlinedatabas [35]. Medan dessa filmer var iögonfallande populära bland koreanska fans, är fallet inte nödvändigtvis detsamma för kinesiska fans, och därmed denna särskilda datauppsättning erbjuder en relativt opartisk möjlighet att undersöka arten av deras mottagning i användarkommentarer på Douban. (Den öppna naturen hos den koreanska och kinesiska doubanska datasetet och dess potential för vidareutnyttjande gör det möjligt för oberoende observatörer och läsare att kopiera och bygga vidare på de resultat som diskuteras nedan.) I detta avsnitt, Douban-Learning ram föreslås som ett sätt att upptäcka kritiska mönster av publikens beteende i kinesiska ugc. Den föreslagna ramen består av tre huvudsteg eller moduler som sammanfattas enligt följande: 1. Data crawler modul: rådata samlas först in och distribueras via en asynkron skrapning crawler; alla insamlade poster laddas sedan upp till Hadoop-plattformen och lagras på HDFS.
Författarna i REF har tillämpat provtagning på MapReduce underlättar analys av olika filmdetaljer, granskningskommentarer och användarprofil.
Mining Chinese social media UGC: a big-data framework for analyzing Douban movie reviews
{'venue': 'Journal of Big Data', 'journal': 'Journal of Big Data', 'mag_field_of_study': ['Computer Science']}