Vi betraktar ord som ett nätverk av interagerande bokstäver, och ungefärlig sannolikhetsfördelning av stater som antas av detta nätverk. Trots intuitionen att reglerna för engelsk stavning är mycket kombinatoriska (och godtyckliga), finner vi att maximal entropi modeller som överensstämmer med parvisa korrelationer mellan bokstäver ger en förvånansvärt bra approximation till den fullständiga statistiken av fyra bokstäver ord, fånga 92% av multi-information bland bokstäver och även "upptäckta" verkliga ord som inte representerades i de data från vilka parvisa korrelationer uppskattades. Den maximala entropimodellen definierar ett energilandskap på utrymmet för möjliga ord, och lokala minima i detta landskap står för nästan två tredjedelar av ord som används på skriftlig engelska. Många komplexa system förmedlar ett intryck av ordning som inte så lätt fångas av de traditionella verktygen i teoretisk fysik. Därför är det inte klart vilken typ av orderparameter eller korrelationsfunktion vi bör beräkna för att upptäcka att naturliga bilder består av fasta föremål [1], inte heller är det uppenbart vilka egenskaper i aminosyrasekvensen skiljer hopfällbara proteiner från slumpmässiga polymerer. Nyligen har flera grupper försökt förenkla problemet med att karakterisera ordning i biologiska system med hjälp av den klassiska idén om maximal entropi [2]. Maximal entropi modeller som överensstämmer med parvisa korrelationer bland neuroner har visat förvånansvärt effektiv i att beskriva de mönster av aktivitet i verkliga nätverk som sträcker sig från näthinnan [3, 4] till cortex [5]; dessa modeller är identiska med Ising modeller av statistisk mekanik, som länge har utforskats som abstrakta modeller för neurala nätverk [6]. Liknande metoder har använts för att analysera biokemiska [7] och genetiska [8] nätverk, och dessa metoder är kopplade till en oberoende ström av arbete hävdar att parvisa korrelationer mellan aminosyror kan vara tillräckligt för att definiera funktionella proteiner [9]. På grund av den omedelbara kopplingen till statistisk mekanik, detta arbete ger också en naturlig väg för extrapolering till det kollektiva beteendet i stora nätverk, börjar med verkliga data [10]. Här testar vi gränserna för dessa idéer som konstruerar maximala entropimodeller för bokstavssekvensen i ord. Som icke-infödda talare väl vet verkar reglerna för engelsk stavning godtyckliga och nästan paradigmatiskt kombinatoriska (i före e utom efter c). Däremot är hela punkten av maximal entropi konstruktioner baserade på parvisa korrelationer att ignorera sådan högre ordning, kombinatoriska effekter [11]. Vi misstänker därför att statistiken över bokstäver i ord kommer att ge ett intressant testfall. Det finns en lång historia av statistiska metoder i analysen av språket, inklusive tillämpningar av maximal entropi idéer [12], medan motstånd mot sådana statistiska metoder var grunden för fyrtio år av språklig teori [13, 14] ; för en nyligen genomgång av dessa debatter se Ref [15]. Vårt mål här är inte att gå in i dessa kontroverser om språk i vid mening, utan snarare att testa kraften i parvisa interaktioner för att fånga till synes komplex struktur. Även med endast fyra bokstäver finns det N = (26) 4 = 456, 976 möjliga ord, men endast en liten del av dessa är verkliga (eller till och med "legala") ord på engelska. Vårt problem är därför lätt att säga: är maximal entropi modeller tillräckligt kraftfull för att fånga denna begränsning av ordförråd? För att analysera samspelet mellan bokstäver använder vi två stora corpora: en samling romaner från Jane Austen [16], och ett stort urval av amerikansk engelska som finns i American National Corpus (ANC) [17]. För att kontrollera eventuella typografiska fel kontrollerades ord också mot en stor ordboksdatabas [18]. Av 676.302 ord i Austen corpus fanns 7114 unika ord, varav 763 var fyra bokstavsord; de fyra bokstavsorden förekom i corpus totalt 135.441 gånger.
Ett arbete av olika slag, men också inom statistikområdet, har nyligen visat att genom att betrakta ord som ett nätverk av interagerande bokstäver, de maximala entropi modeller, som överensstämmer med parvisa korrelationer mellan bokstäver, ger en mycket bra approximation till den fullständiga statistiken över fyra bokstäver ord REF.
Toward a statistical mechanics of four letter words
{'venue': None, 'journal': None, 'mag_field_of_study': ['Biology', 'Computer Science', 'Physics']}