Vi presenterar en probabilistisk språkmodell för tidsstämplade textdata som följer den semantiska utvecklingen av enskilda ord över tiden. Modellen representerar ord och sammanhang av latenta banor i ett inbäddat utrymme. Varje ögonblick i tiden, inbäddningsvektorer härleds från en probabilistisk version av word2vec (Mikolov et al., 2013b). Dessa inbäddningsvektorer ansluts i tid genom en latent diffusionsprocess. Vi beskriver två skalbara variabla inferensalgoritmer-skipgram utjämning och skip-gram filtrering-som gör att vi kan träna modellen gemensamt över alla tider, vilket lär sig på alla data samtidigt som man tillåter ord och sammanhang vektorer att driva. Experimentella resultat på tre olika corpora visar att vår dynamiska modell innehåller ord som inbäddar banor som är mer tolkningsbara och leder till högre prediktiva sannolikheter än konkurrerande metoder som är baserade på statiska modeller som tränas separat på tidsskivor.
Senare arbete av REF analyserar textdata för att spåra "den semantiska utvecklingen av enskilda ord över tiden".
Dynamic Word Embeddings via Skip-Gram Filtering
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}