Texter uppvisar subtila men ändå identifierbara modaliteter om författarnas uppskattning av hur sant varje påstående är (t.ex. definitivt sant eller något sant). Denna studie är en analys av sådan explicit säkerhet och tvivel markörer i epistemiskt modaliserade uttalanden för en skriftlig diskussion om nyheter. Studien står systematiskt för fem nivåer av författarens säkerhet (ABSOLUTE, HÖG, MODERATE, LOW VISSATY och UNCERTAINTY) i tre nyheter pragmatiska sammanhang: perspektiv, fokus och tid. Slutsatsen i studien är att oberoende kodares uppfattningar om gränserna mellan de olika säkerhetsfaktorerna i epistemiskt modaliserade uttalanden är mycket subjektiva och medför svårigheter för manuell annotering och därav följande automatisering för åsiktsextraktion och känsloanalys. Även om strängare annoteringsanvisningar och längre utbildning i kodare kan förbättra resultaten av överenskommelser mellan kodare, är det inte helt klart att en åtskillnad på fem nivåer av säkerhet är att föredra framför en förenklad åtskillnad mellan uttalanden med säkerhet och uttalanden med tvivel.
REF beskriver ett system för fem säkerhetsnivåer, som kallas Epistemisk modalitet, i nyhetstexter.
Stating with Certainty or Stating with Doubt: Intercoder Reliability Results for Manual Annotation of Epistemically Modalized Statements
{'venue': 'Human Language Technologies 2007: The Conference of the North American Chapter of the Association for Computational Linguistics; Companion Volume, Short Papers', 'journal': None, 'mag_field_of_study': ['Computer Science']}