Den syntaktiska ämnesmodellen (STM) är en bayesisk ickeparametrisk språkmodell som upptäcker latenta fördelningar av ord (ämnen) som är både semantiskt och syntaktiskt sammanhängande. STM modellerar beroende tolkade corpora där meningar grupperas i dokument. Det förutsätter att varje ord hämtas från ett latent ämne som valts genom att kombinera dokumentnivåfunktioner och det lokala syntaktiska sammanhanget. Varje dokument har en distribution över latenta ämnen, som i ämnesmodeller, vilket ger den semantiska konsistensen. Varje element i beroendet parse träd har också en fördelning över ämnena för sina barn, som i latent-state syntax modeller, som ger den syntaktiska konsistensen. Dessa distributioner är invecklade så att ämnet för varje ord är sannolikt under både dess dokument och syntaktiska sammanhang. Vi härleder en snabb bakre inferensalgoritm baserad på variationsmetoder. Vi rapporterar kvalitativa och kvantitativa studier av både syntetiska data och handgjorda dokument. Vi visar att STM är en mer prediktiv språkmodell än nuvarande modeller baserade enbart på syntax eller enbart på ämnen. När vi läser en mening använder vi två typer av resonemang: en för att förstå dess syntaktiska struktur och en annan för att integrera dess betydelse i det bredare sammanhanget av andra meningar, andra stycken och andra dokument. Båda de mentala processerna är avgörande, och psykologer har funnit att de är distinkta. En syntaktiskt korrekt mening som är semantiskt osannolik tar längre tid för människor att förstå än dess semantiska rimliga motsvarighet (Rayner et al. 1983)................................................................. Dessutom har nyligen genomförda hjärnröntgen experiment lokaliserat dessa processer i olika delar av hjärnan (Dapretto och Bookheimer 1999). Båda dessa typer av resonemang bör redovisas i en probabilistisk språkmodell. För att se hur dessa mentala processer samverkar, tänk på följande mening i en resebroschyr, Nästa helg, kan du koppla av i ______. Hur resonerar vi om att fylla i tomrummet? För det första, eftersom det saknade ordet är föremål för en preposition, bör det fungera som ett substantiv, kanske en plats som "säng", "skola", eller "kyrka". För det andra, eftersom dokumentet handlar om resor, förväntar vi oss reserelaterade villkor. Detta begränsar ytterligare utrymmet för möjliga termer, vilket lämnar alternativ som "Nepal", "Paris" eller "Bermuda" som sannolika möjligheter. Varje typ av resonemang begränsar den troliga lösningen till en undergrupp av ord, men de bästa kandidaterna för det saknade ordet är i deras korsning. I den här artikeln utvecklar vi en probabilistisk språkmodell som speglar denna process. Probabilistisk modellering har framträtt som en kraftfull formalism för att uttrycka antaganden * 3155 AV Williams,
Dessutom föreslog REF den syntaktiska temamodellen vars mål är att integrera textsemantiken och syntaxen i en icke-parametrisk ämnesmodell.
Syntactic Topic Models