Topic modellering är ett vanligt verktyg för att förstå stora kroppar av text, men är vanligtvis som en "ta det eller lämna det" förslag. Att integrera mänsklig kunskap i oövervakat lärande är ett lovande sätt att skapa högkvalitativa ämnesmodeller. Befintliga interaktiva system och modelleringsalgoritmer stöder ett brett spektrum av förfiningsåtgärder för att ge feedback. Men dessa systems interaktioner drivs främst av algoritmisk bekvämlighet, ignorera användare som kan sakna expertis inom ämnesmodellering. För att bättre förstå hur icke-expertanvändare förstår, bedömer och förfinar ämnen genomförde vi två användarstudier – en personintervjustudie och en online crowdsourced studie. Dessa studier visar att det finns en koppling mellan vad icke-expertanvändare vill ha och de komplexa, lågnivåoperationer som nuvarande interaktiva system stöder. I synnerhet, våra resultat inkluderar: (1) analys av hur icke-expert användare uppfattar ämnesmodeller; (2) karakterisering av primära förfining verksamhet som förväntas av icke-expertanvändare och beställs efter relativ preferens; (3) ytterligare bevis på fördelarna med att stödja användare i direkt förfina en ämnesmodell; (4) design implikationer för framtida människa-in-the-loop ämne modellering gränssnitt. ämnen (Zhai et al., 2009), eller ordpar som bör eller inte bör tillhöra tillsammans i ett ämne (Andrzejewski et al., 2009). Även om dessa strategier är lovande, en viktig begränsning till ovanstående arbete-både vad som gör för en "dålig" ämnesmodell och mänskliga-in-the-loop metoder-är att forskare har fokuserat till stor del på algoritmisk bekvämlighet snarare än användarnas behov, och-särskilt-det finns en brist på studier med användare som saknar ämne modellering erfarenhet. Till exempel, de problem med ämnesmodellkvalitet som identifierats ovan kommer till stor del från självrapporter av maskininlärning experter, med undantag av två domän experter i ett papper (Mimno et al., 2011). Även tillvägagångssätten i det mänskliga kretsloppet erbjuder få användarstudier. I en studie med 20 användare som hade varierande erfarenhet av ämnesmodeller, Hu et al. (2014) visade att tillgången till deras små uppsättning av förfiningsverksamhet påverkade hur användarna sökte information i en corpus jämfört med att använda en traditionell, statisk ämnesmodell. Ett annat undantag kommer från Hoque och Carenini (2015), som fann att användarna föredrog ett ämnesmodellgränssnitt som gör det möjligt att dela och slå samman ämnen över ett mer traditionellt gränssnitt som inte tillåter modellförfining. Även om dessa studier börjar ge insikt för en mer användarcentrerad syn på ämnesmodellering, är viktiga frågor fortfarande obesvarade: Hur tolkar icke-expertanvändare ämnesmodeller och vilka problem uppfattar de? Hur skulle de, utan att ta hänsyn till tekniska begränsningar, vilja lösa eller förfina dessa problem? På grundval av dessa svar, vilka är konsekvenserna för att göra mänskliga i-loop ämnesmodeller mer tillgängliga för icke-experter användare? Vi genomförde två användarstudier med icke-experter: en halvstrukturerad intervjustudie med 10 deltagare följt av ett online crowdsourced experiment med 90 deltagare. Studierna var explorativa och formativa, menade att vägleda framtida algoritmiskt arbete om vilka förfiningsåtgärder som ska stödja human-in-the-loop ämnesmodellering och hur man ska prioritera dessa operationer vid behov. Som sådan bad vi avsiktligt deltagarna att interagera med front-end användargränssnitt som inte var begränsade av aktuella tekniska begränsningar av ämnesmodell implementationer. För båda studierna samverkade deltagarna med ämnesmodeller från en corpus av New York Times artiklar. I ett fall deltog en temasammanfattning uppgift som kan fungera som ett allmänt första steg för mer komplexa uppgifter, såsom för kvalitativ innehållsanalys (Chuang et al., 2014), och i det andra fallet deltagarna utförde mer begränsad men gemensam låg nivå uppgift att förfina enskilda ämnen. Intervjustudien inriktades på att undersöka hur icke-experter tolkar, bedömer och vill förfina ämnesmodeller utan att bli partiska av tekniska begränsningar eller föreslagna operationer; användare hade inga förutfattade meningar om hur förfiningar kan påverka en ämnesmodell. För online crowdsourced experiment har vi sedan utformat och implementerat ett användargränssnitt för att stödja de sex mest populära förfiningsåtgärder som identifierats i intervjuerna: Lägg till ord, Ta bort ord, Sammanfoga ord, Ändra ordordning, Ta bort dokument, och Split ämne. Vi utvärderade frekvensen av användning och subjektiv nytta av de sex verksamheterna genom att be deltagarna att förfina enskilda ämnen. Medan förfiningsåtgärder genomfördes endast i användargränssnittet (backendmodellen uppdaterades inte), gör denna studie att vi kan jämföra verksamheten i form av frekvens av användning och mäta deras upplevda inverkan på ämneskvalitet; vi utvärderar också kvaliteten på de förfinade ämnen med automatiskt beräknade ämnessammanhållning baserat på NPMI (Lau et al., 2014). Tillsammans, våra studier visar en koppling mellan vad icke-expert användare vill (t.ex., helt enkelt lägga till ett ord till ett ämne) och den låga nivå operationer som human-in-the-loop ämne modellering metoder för närvarande stöd, (t.ex., ange ett måste-länk begränsning (Anderzejewski et al., 2009; Hu et al., 2014) ). Förutom att identifiera en rad viktiga förfiningsåtgärder som bör ingå för att stödja icke-expertanvändare, belyser våra resultat mönster i hur icke-experter tolkar (och misstolkar) ämnen och tillämpar förfiningsverksamhet på enskilda ämnen. Online-experimentet visar också att användarna, om än utan back-end-uppdateringar, trodde att deras förbättringar avsevärt förbättrade kvaliteten på ämnesmodeller; objektiva mått på ämneskonsekvens i linje med denna uppfattning. Dessa resultat bör vägleda det framtida algoritmiska arbetet med modellering av människor i kretsloppet. Detta dokument ger följande bidrag: 1) visar hur icke-expertanvändare uppfattar ämnesmodeller, bekräftar flera problem som hävdas av maskininlärningsforskare; 2) räkna upp icke-expertanvändares önskade förfining på ämnesnivå och den relativa preferensen bland dessa förfiningar, särskilt med relevans för uppgifterna att sammanfatta teman i en corpus och förfina enskilda ämnen; 3) tillhandahålla ytterligare bevis på fördelarna med att tillåta användare att direkt förfina en ämnesmodell (bekräfta (Chuang m.fl., 2013a; Hoque och Carenini, 2015) ), särskilt när det gäller uppfattningen av ämneskvalitet; 4) tillhandahålla ytterligare konsekvenser för utformningen av framtida gränssnitt för modellering av ämne i kretsloppet, såsom specifikt stöd med blandade initiativ som begärts av användarna.
Lee och Al. REF specificerar förfiningsåtgärder för ämnesmodellering som är intuitiva för icke-expertanvändare, inklusive uppdelning och sammanslagning av ämnen eller tillägg och borttagning av nyckelord som alla har implementerats i vårt system.
The Human Touch: How Non-expert Users Perceive, Interpret, and Fix Topic Models
{'venue': 'Int. J. Hum. Comput. Stud.', 'journal': 'Int. J. Hum. Comput. Stud.', 'mag_field_of_study': ['Computer Science']}