Topic modeller ger insikter i dokumentsamlingar, och deras övervakade förlängningar fångar också tillhörande dokument-nivå metadata såsom känslor. Att härleda sådana modeller från data är dock ofta långsamt och kan inte skalas till stora data. Vi bygger vidare på "anchor"-metoden för att lära oss ämnesmodeller för att fånga relationen mellan metadata och latenta ämnen genom att utöka vektor-rymd representationen av ord-sammankomst till att omfatta metadataspecifika dimensioner. Dessa ytterligare dimensioner avslöjar nya ankarord som återspeglar specifika kombinationer av metadata och ämne. Vi visar att dessa nya latenta representationer förutspår känslor lika exakt som övervakade ämnesmodeller, och vi finner dessa representationer snabbare utan att offra tolkningsbarheten. Topic modeller infördes i en oövervakad miljö (Blei et al., 2003), med hjälp av upptäckten av aktuell struktur i text: stora corpora kan destilleras till mänskliga-tolkbara teman som underlättar snabb förståelse. Förutom upplysande dokumentsamlingar för människor har ämnesmodeller i allt större utsträckning använts för automatiska nedströmstillämpningar såsom känsloanalys (Titov och McDonald, 2008; Paul och Girju, 2010; Nguyen m.fl., 2013). Tyvärr utgör den struktur som upptäcks av oövervakade ämnesmodeller inte nödvändigtvis den bästa uppsättningen funktioner för uppgifter som känsloanalys. Överväga en ämnesmodell tränad på Amazon produktrecensioner. En ämnesmodell kan upptäcka ett ämne om vampyrromantik. Men vi vill ofta gå djupare, upptäcka aspekter av ett ämne som speglar ämnesspecifika känslor, t.ex. "buffy" och "spik" för positiva känslor mot "twilight" och "cullen" för negativa känslor. Tekniker för att upptäcka sådana associationer, så kallade övervakade ämnesmodeller (avsnitt 2), både producera tolkningsbara ämnen och förutsäga metadatavärden. Medan oövervakade ämnesmodeller nu har skalbara inferens strategier (Hoffman et al., 2013; Zhai et al., 2012), övervakad ämne modell inference har inte fått så mycket uppmärksamhet och ofta fjälla dåligt. Ankaralgoritmen är en snabb, skalbar oövervakad metod för att hitta "anchor words" precisa ord med unika co-occurence mönster som kan definiera ämnen i en samling dokument. Vi utökar ankaralgoritmen för att hitta övervakade känslospecifika ankarord (avsnitt 3). Vår algoritm är snabbare och lika effektiv som traditionella system för övervakad ämnesmodellering (avsnitt 4). Ankaralgoritmen (Arora et al., 2013) börjar med en V × V matrisQ av ord med förekomster, där V är storleken på ordförrådet. Varje ordtyp definierar en vektorQ i,· av längd V så attQ i,j kodar den villkorliga sannolikheten för att se ord j med tanke på att ordet jag redan har sett. Spektrala metoder (Anandkumar et al., 2012) och ankaralgoritmen är snabba alternativ till traditionella ämnesmodellinferenssystem eftersom de kan upptäcka ämnen via denna sammanfattande statistik (kvadratisk i antalet typer) snarare än att undersöka hela datauppsättningen (proportionalitet till det mycket större antalet polletter). Ankaralgoritmen tar sitt namn från idén 746
Nyligen utökar arbetet REF ankarordsmetoderna för att hantera övervakade ämnesmodeller.
Is Your Anchor Going Up or Down? Fast and Accurate Supervised Topic Models