Vi avslutar med att diskutera två tillägg till modellen, specifik inställning och samtal börjar upptäcka, vilka båda är lovande men för närvarande inte ger några praktiska förbättringar. Samtidiga samtal verkar uppstå naturligt i både informella sociala interaktioner och flerpartschatt. Aoki m.fl.Den (2006) studie av röstsamtal bland 8-10 personer fann i genomsnitt 1,76 samtal (golv) aktiva åt gången, och högst fyra. I vår chatt corpus är genomsnittet ännu högre, på 2,75. Det typiska samtalet utgör därför inte en sammanhängande del av chattrummets utskrift, utan bryts ofta upp av inlägg från andra samtal. Disentangling (även kallad tråddetektion [Shen et al. 2006], trådextraktion [Adams and Martell 2008], och tråd / konversationshantering [Traum 2004] ) är den klustererande uppgiften att dela en utskrift i en uppsättning distinkta konversationer. Det är en nödvändig förutsättning för varje form av analys av dialogen på högre nivå. Överväg till exempel flerpartsutbytet i figur 1. Sammanhangsmässigt är det tydligt att detta motsvarar två samtal, och människor är skickliga på att lösa upp sig, även i komplicerade miljöer som trånga cocktailparty eller chattrum; för att kunna utföra denna uppgift måste de upprätthålla en komplex mental representation av den pågående diskussionen. Dessutom justerar de sitt konversationsbeteende för att göra uppgiften lättare, och nämner namn oftare än i tal- eller tvåpartsdialoger (O'Neill och Martin 2003). Detta behov av anpassning tyder på att det kan vara svårt att lösa problem även för människor, och kan därför fungera som ett användbart stresstest för beräkningsmodeller för samtal. Skiljedom har två praktiska tillämpningar. En är analysen av förinspelade utskrifter för att extrahera någon form av information, såsom frågesvar par eller sammanfattningar. Dessa uppgifter bör förmodligen ta som indata varje separat konversation, snarare än hela utskriften. Ett annat program är som en del av ett användargränssnitt för aktiva deltagare i chatten, där användarna riktar in sig på ett samtal av intresse som sedan markeras för dem. Aoki m.fl. (2003) skapade ett sådant system för tal, vilket brukarna i allmänhet föredrog framför ett konventionellt system-när upplösningen fungerade! Vi börjar i Avsnitt 2 med en översikt över relaterat arbete. I Avsnitt 3, presenterar vi en ny corpus av manuellt kommenterade chattrum data och utvärdera annotator tillförlitlighet. Vi ger en uppsättning mätvärden (avsnitt 3.2) som beskriver strukturell likhet både lokalt och globalt. I Avsnitt 4 föreslår vi en modell som använder övervakad parvis klassificering för att länka uttalanden från samma samtal, följt av en girig inferens skede som samlar uttalandena i samtal. Vårt system använder tidsgap och innehållsfunktioner för uttalanden. Experimentella resultat (avsnitt 5) visar att dess utgång är i hög grad korrelerad med mänskliga kommentarer. Slutligen, i avsnitten 6 och 7, undersöker vi två tillägg till den grundläggande modellen, specificitet tuning och automatisk upptäckt av konversation börjar. Såvitt vi vet är detta det första arbetet med att utvärdera interannotatoravtalet för att lösa problemet. Det är också den första att använda en övervakad metod för att lära sig vikter för olika funktionstyper, snarare än att förlita sig på cosinus avstånd med enhetliga eller handjusterade funktionsvikter. Det kompletterar vanliga ordrepetition och tidsgap funktioner med andra funktionstyper, inklusive mycket kraftfulla funktioner baserade på namn som nämns, vilket är vanligt i Internet Relay Chat. Flera trådar av forskning är direkta försök att lösa problemet med disentrangement. Det närmaste till vårt eget arbete är Shen et al. (2006), som utför konversation disentangling på en online chat corpus. Aoki m.fl. (2003 Aoki m.fl.) (, 2006 analys, utdragande grupper av talare som talar med varandra. Detta kan betraktas som en upplösning uppgift, även om, som vi kommer att se (avsnitt 5), antagandet att varje talare deltar i endast en konversation är bristfällig. Adams och Martell (2008) och Shen m.fl. (2006) publicera resultat på humanannoterade data; även om vi inte har deras corpora, diskuterar vi deras utvärderingsmått (avsnitt 3.2) och ger en jämförelse med våra egna resultat häri (avsnitt 5). Aoki m.fl. (2006) Adams och Martell (2008) och Shen et al. (2006) behandlar problemlösning på samma sätt som vi gör, som en samlingsuppgift där de objekt som ska samlas är de enskilda uttalandena. Både deras algoritmer definierar ett begrepp om avstånd (baserat på cosinus) och en tröskelparameter som bestämmer hur nära klustercentret ett uttalande måste vara innan klusteralgoritmen lägger till det. Detta står i kontrast till vår egen övervakade strategi, där avståndsmåttet uttryckligen är justerat på träningsdata. Den övervakade metoden har fördelen att den kan väga enskilda funktionstyper baserat på deras prediktiva-oövervakade metoder kombinera funktioner antingen enhetligt eller med hjälp av heuristiska metoder. Det finns heller inget behov av en separat inställningsfas för att bestämma tröskeln. Å andra sidan kräver övervakade metoder märkta utbildningsdata och kan vara svårare att anpassa till nya domäner eller corpora. De återstående dokumenten behandlar problemet som en grupptalare, snarare än uttalanden. Det vill säga, de antar att under fönstret över vilket systemet fungerar, en viss talare deltar i endast en konversation. Camtepe m.fl. (2005) anger ett uttryckligt antagande om att detta är sant under hela utskriften; verkliga talare deltar däremot ofta i många samtal, sekventiellt eller ibland till och med samtidigt. Aoki m.fl. (2003) analysera varje 30-sekunders segment av utskriften separat. Detta gör begränsningen av enstaka samtal något mindre allvarlig, men har nackdelen att ignorera alla händelser som inträffar utanför segmentet. Acar m.fl. (2005) försöka ta itu med detta problem genom att använda en fuzzy algoritm till klusterhögtalare; detta tilldelar varje talare en distribution över konversationer snarare än att göra en svår uppgift. Algoritmen handlar dock fortfarande om talare snarare än uttalanden, och kan inte avgöra vilken konversation något särskilt uttalande är en del av. Ett annat problem med dessa två metoder är den information som används för klusterbildning. Aoki m.fl. (2003) och Camtepe et al. (2005) detektera ankomsttider för meddelanden, och använda dem för att bygga en affinitet diagram mellan deltagarna genom att upptäcka turn-taking beteende bland par av högtalare. (Turn-taking kännetecknas av korta pauser mellan uttalanden; talare syftar varken till att avbryta eller lämna långa luckor.) Aoki m.fl. (2006) anser att turn-taking på egen hand är otillräckligt. De motiverar en rikare uppsättning funktioner, som dock ännu inte verkar genomföras. Acar m.fl. (2005) lägga till ordrepetition till deras funktionsuppsättning. Men deras tillvägagångssätt behandlar alla ordrepetitioner på lika villkor, och nedvärderar därför snabbt i närvaro av "bullerord" (deras term för ord som delas över konversationer) till nästan fullständigt misslyckande när endast hälften av orden delas. Adams och Martell (2008) och Shen m.fl. (2006) använda en mer robust representation för lexiska funktioner: Term frekvens-invers dokumentfrekvens (TF-IDF) viktade unigram, som ofta används vid informationsextraktion. Denna funktionsuppsättning fungerar ganska bra ensam, även om tiden också är en viktig funktion som i de andra studierna. Adams och Martell (2008) undersöker också WordNet hypernyms (Miller et al. 1990 ) som ett mått på semantiskt samband, och använda identiteten hos talaren av ett visst uttalande som ett inslag. Av deras resultat är det oklart om dessa två egenskaper är effektiva eller inte. Volym 36, Nummer 3 För att motivera vårt eget förhållningssätt undersöker vi några språkliga studier av diskurs, särskilt analys av flerpartssamtal. O'Neill och Martin (2003) pekar ut flera sätt på vilka flerpartstextchatt skiljer sig från typiska tvåpartssamtal. En viktig skillnad är hur ofta deltagarna nämner varandras namn. De gissar att det namn som nämns är en strategi som deltagarna använder för att göra det lättare att reda ut, vilket kompenserar för bristen på signaler som normalt förekommer i en dialog ansikte mot ansikte. Nämnelser (såsom Gales kommentarer till Arlie i figur 1 ) är mycket vanliga i vår corpus, förekommer i 36% av kommentarer, och ger en användbar funktion. En annan viktig skillnad är att deltagarna kan skapa ett nytt samtal (golv) när som helst, en process som Sacks, Schegloff och Jefferson (1974) kallar schisming. Under en schism bildas ett nytt samtal, inte nödvändigtvis på grund av en förändring i ämnet, utan på grund av att vissa deltagare har fokuserat sin uppmärksamhet på varandra, och bort från den som höll golvet i föräldrasamtalet. Trots dessa skillnader finns det fortfarande starka likheter mellan chatt och andra samtal som möten. Möten tillåter vanligtvis inte flera samtidiga samtal, men analoger till schismer existerar, i form av digressioner eller "underordnade samtal", där talaren vänder sig till någon specifik, som sedan förväntas svara. Vissa mötesanalyssystem försöker upptäcka var dessa avvikelser börjar, vem som är involverad i dem och vem som har golvet när de slutar; funktioner som används i detta arbete är relevanta för att lösa upp sig. Uppgiften att automatiskt bestämma den avsedda mottagaren av ett uttalande vid ett möte kallas adressatidentifiering. Det kräver att man upptäcker avvikelser och identifierar deltagarna. Flera studier försöker denna uppgift. Jovanovic och op den Akker (2004) och Jovanovic, op den Akker, och Nijholt (2006) utför adressatidentifiering med hjälp av en komplex funktionsuppsättning inklusive språkliga signaler som pronomen och diskursmarkörer, timlig information och blickriktning. De finner också att adressatens identitet kan kommenteras med hög tillförlitlighet (σ =.7 för en uppsättning och.8 för en annan). Traum (2004) diskuterar behovet av att identifiera och lösa problemet med adressaten vid utformningen av ett system för militära dialoger med virtuella agenter. Efterföljande arbete (Traum, Robinson och Stephan 2004) utvecklar ett regelbaserat system med hög noggrannhet på adressatens identifiering. En annan mötesrelaterad uppgift är golvspårning, som försöker avgöra vilken talare som har ordet efter varje uttalande. Denna uppgift innebär att modellera de samordningsstrategier som talarna använder för att förvärva eller ge upp golvet, och därmed ger en bra modell för ett pågående samtal. En detaljerad analys ges i Chen et al. (2006) Ett något relaterat forskningsområde omfattar miljöer med högre latens än chatt i realtid: anslagstavlor och e-post. Innehållsmatchning tillvägagångssätt tenderar att fungera bättre i dessa inställningar, eftersom medan många chattmeddelanden är backchannel svar eller samtalsförfrågningar (Ja, Varför? och så vidare), längre inlägg tenderar att vara nöjda. Av de två uppgifterna är e-post lättare; Yeh och Harnly (2006) finner att heuristisk information från meddelandehuvuden kan vara användbar, liksom innehållsbaserad matchning som att upptäcka citat från tidigare meddelanden. Wang m.fl. (2008), en analys av en studentdiskussionsgrupp, är det arbete som Adams och Martell (2008) klassificerar. Det globala delningsproblemet identifierades som korrelationskluster, ett NP-hårdt problem, av McCallum och Wellner (2004). Slutligen nämner vi kortfattat ett arbete som dök upp efter det att vi utvecklat det system som beskrivs här. Wang och Oard (2009) är ett annat system som använder TF-IDF unigrams, men förstärker dessa funktioner vektorer med hjälp av informationshämtning teknik för meddelandeexpansion. De rapporterar resultat om våra corpus som förbättras på egen hand. Adams (2008) försöker inte bara använda WordNet utan Latent Dirichlet Allokering för att beskriva semantisk släktskap. Han finner båda teknikerna ineffektiva. Dessutom kommenterar han en stor corpus av Internet Relay Chat och på liknande sätt finner att annoterare har svårt att komma överens. Elsner och Schudy (2009) utforskar olika partitioneringsstrategier och förbättrar den giriga algoritm som vi presenterar. Vår datauppsättning är inspelad från IRC kanal ##LINUX på free-node.net, med hjälp av den fritt tillgängliga gaim klienten. ##LINUX är en inofficiell teknisk supportlinje för Linux operativsystem, vald eftersom det är en av de mest aktiva chattrum på freenode, vilket leder till många samtidiga konversationer, och eftersom dess innehåll är typiskt ooffensivt. Även om det är tänkt endast för tekniskt stöd, innehåller det stora mängder social chatt också, såsom samtalet om fabriksarbete i Figur 1. Hela datamängden innehåller över 52 timmars chatt, men vi ägnar det mesta av vår uppmärksamhet åt tre kommenterade sektioner: utveckling (706 uttalanden; 2:06 timmar) och test (800 uttalanden; 1:39 timmar), plus en kort pilotsektion där vi testade vårt notationssystem (359 uttalanden; 0:58 timmar). Vi rekryterade och betalade sju universitetsstudenter för att kommentera testsektionen. Alla hade åtminstone en viss förtrogenhet med Linux OS, även om det i vissa fall var mycket lätt. Annotering av testdatamängden tog vanligtvis ungefär två timmar. Totalt producerade vi sex noteringar av testsetet. 2 Vi har fyra anteckningar av piloten uppsättningen, av tre frivilliga och experimenterarna. Pilotuppsättningen användes för att prototypa vår anteckningsprogramvara, och även som en valideringskorpus för vårt system. Utvecklingssetet kommenterades endast en gång av försökspersonen. Denna datauppsättning används för utbildning. Vår notationsplan markerar varje uttalande som en del av ett enda samtal. Antecknare instrueras att skapa så många eller så få samtal som de behöver för att beskriva data. Våra instruktioner säger att ett samtal kan vara mellan vilket antal människor som helst, och att, "Vi menar konversation i den typiska bemärkelsen: en diskussion där deltagarna alla reagerar och uppmärksammar varandra. .. det ska vara klart att kommentarerna i ett samtal passar ihop." Själva notationssystemet är ett enkelt Java-program med ett grafiskt gränssnitt, avsett att verka något liknande en typisk chattklient. Varje talares namn visas i en annan färg, och systemet visar förfluten tid mellan kommentarer, märkning särskilt långa pauser 2 Ytterligare en kommentar förkastades eftersom annotatorn missförstådde uppgiften. Volym 36, Nummer 3 i rött. Antecknare grupperar uttalanden i samtal genom att klicka och dra dem till varandra. Innan vi diskuterar noterna själva kommer vi att beskriva de mått vi använder för att jämföra olika noteringar; dessa mäter både hur mycket våra notatorer håller med varandra, och hur väl vår modell och olika baslinjer fungerar. Jämföra kluster med olika antal kluster är en icke-trivial uppgift, och mätvärden för överenskommelser om övervakad klassificering, såsom statistik, är inte tillämpliga. För att mäta global likhet mellan noteringar använder vi en-till-en noggrannhet. Denna åtgärd beskriver hur väl vi kan extrahera hela konversationer intakt, som krävs för sammanfattning eller informationsextraktion. För att beräkna det, vi parar upp konversationer från de två kommentarerna för att maximera den totala överlappningen genom att beräkna en optimal maxvikt bipartite matchning, sedan rapportera procentandelen överlappning hittades. 3 En-till-en noggrannhet är ett standardmått i oövervakad del-av-tal taggning (t.ex., Haghighi och Klein 2006), och motsvarar nämna-baserade CEAF (Luo 2005) för coreferensupplösning. Om vi tänker övervaka eller delta i samtalet som det sker, kommer vi att bry oss mer om lokala domar. Det lokala avtalet metrisk är en begränsad form av Rand index för kluster (Rand 1971) som räknar avtal och meningsskiljaktigheter för par i ett sammanhang k. Vi anser ett särskilt uttalande: De tidigare k uttalanden är var och en i antingen samma eller en annan konversation. Loc k poäng mellan två annoterare är deras genomsnittliga överenskommelse om dessa k samma / olika bedömningar, i genomsnitt över alla uttalanden. Till exempel, Loc 1
Det är värt att notera att REF också har förespråkat att utnyttja tidsklyftan och att människor nämner liknande den föreslagna metoden för detta arbete.
Disentangling Chat
{'venue': 'Computational Linguistics', 'journal': None, 'mag_field_of_study': ['Computer Science']}