Den skriftliga texten är en av de grundläggande manifestationerna av mänskligt språk, och studiet av dess universella regulariteter kan ge ledtrådar om hur våra hjärnor bearbetar information och hur vi som samhälle organiserar och delar med oss av den. Bland dessa regler är det bara Ziffs lag som har utforskats på djupet. Andra grundläggande egenskaper, såsom förekomsten av sprickbildningar av sällsynta ord i specifika dokument, har endast studerats oberoende av varandra och huvudsakligen genom beskrivande modeller. Som en följd av detta finns det en brist på förståelse för språkliga processer som komplexa framväxande fenomen. Bortom Ziffs lag för ordfrekvenser fokuserar vi här på sprängighet, Heaps lag som beskriver den sublinjära tillväxten av vokabulärstorlek med längden på ett dokument, och aktualiteten av dokumentsamlingar, som kodar korrelationer inom och över dokument som saknas i slumpmässiga nullmodeller. Vi inför och validerar en generativ modell som förklarar den samtidiga uppkomsten av alla dessa mönster från enkla regler. Som ett resultat av detta finner vi ett samband mellan den spruckna naturen hos sällsynta ord och den aktuella organisationen av texter och identifierar dynamisk ordranking och minne över dokument som nyckelmekanismer som förklarar den icke triviala organiseringen av skriftlig text. Vår forskning kan ha breda implikationer och praktiska tillämpningar inom datavetenskap, kognitiv vetenskap och lingvistik.
Utöver universella regler som Ziffs lag undersökte REF nyligen bristningar, aktualitet, semantisk likhetsfördelning och deras inbördes förhållande till varandra och modellerade dem med två mekanismer, nämligen frekvensrankning med dynamisk omordning och minne över dokument.
Modeling Statistical Properties of Written Text
{'venue': 'PLoS ONE', 'journal': 'PLoS ONE', 'mag_field_of_study': ['Computer Science', 'Medicine']}