Förståelse för naturligt språk kräver ofta djup semantisk kunskap. Genom att vidareutveckla tidigare förslag föreslår vi att vissa viktiga aspekter av semantiska kunskaper kan modelleras som en språkmodell om de görs på en lämplig abstraktionsnivå. Vi utvecklar två distinkta modeller som fångar semantiska ramkedjor och diskursen information samtidigt abstraktera över specifika omnämnanden av predikat och enheter. För varje modell undersöker vi fyra implementationer: en "standard" N-gram språkmodell och tre diskriminerande utbildade "neurala" språkmodeller som genererar inbäddningar för semantiska ramar. Kvaliteten på semantiska språkmodeller (SemLM) utvärderas både i sig, med hjälp av perplexitet och ett berättande kloze test och extrinsically -vi visar att vår SemLM bidrar till att förbättra prestanda på semantiska naturligt språk bearbetning uppgifter som co-referens upplösning och diskurs tolkning.
Nyligen utvecklade REF två olika modeller som fångar semantiska ramkedjor och diskursinformation samtidigt som de abstrakterar över de specifika omnämnandena av predikat och enheter, men dessa modeller fokuserar på diskursbearbetningsuppgifter, inte semantisk rambearbetning.
Two Discourse Driven Language Models for Semantics
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}