Denna artikel introducerar informationens fysik i samband med molekylärbiologi och genomik. Entropi och information, de två centrala begreppen i Shannons teori om information och kommunikation, förväxlas ofta med varandra men spelar transparenta roller när de tillämpas på statistiska ensembler (dvs. identiska preparerade uppsättningar) av symboliska sekvenser. Ett sådant tillvägagångssätt kan skilja mellan entropi och information i gener, förutsäga den sekundära strukturen av ribozymer, och upptäcka kovariation mellan rester i vikta proteiner. Vi granskar också tillämpningar för molekylär sekvens- och strukturanalys, och introducerar nya verktyg i karakteriseringen av resistensmutationer, och i läkemedelsdesign. I en märklig historisk twist, gryningen av tidsåldern av genomik har båda sett uppkomsten av vetenskapen av bioinformatik som ett verktyg för att hantera de enorma mängder data som genereras dagligen, och nedgången av teorin om information som tillämpas på molekylärbiologi. Berättigat som förebud om en "ny rörelse" (Quastler 1953) tillsammans med Cybernetics, ansågs informationsteorins principer vara tillämpliga på de högre funktionerna hos levande organismer och kunna analysera funktioner som ämnesomsättning, tillväxt och differentiering (Quastler 1953). Idag används metaforerna och jargongen för informationsteorin fortfarande i stor utsträckning (Maynard Smith 1999a, 1999b, till skillnad från den matematiska formalismen, som alltför ofta anses vara otillämplig på biologisk information. När man ser tillbaka, tycks det uppenbarligen som om man hade lagt alltför stort hopp på denna teoris relevans för biologin. Det fanns dock en välgrundad optimism om att informationsteorin borde kunna ta itu med de komplexa frågor som är förknippade med lagring av information i den genetiska koden, bara för att gång på gång ifrågasättas och tillrättavisas (se t.ex. Vincent 1994, Sarkar 1996. I denna artikel beskriver jag begreppen entropi och information (enligt Shannons definition) i samband med molekylärbiologi. Vi kommer att se att inte bara dessa termer är väldefinierade och användbara, de sammanfaller också exakt med vad vi intuitivt menar när vi till exempel talar om information som lagras i gener. Jag presenterar sedan exempel på tillämpningar av teorin för att mäta informationsinnehållet i biomolekyler, identifiering av polymorfismer, RNA och protein sekundär struktur förutsägelse, förutsägelse och analys av molekylära interaktioner, och läkemedelsdesign. Entropi och information används ofta på motstridiga sätt i litteraturen. En exakt förståelse, både matematisk och intuitiv, av begreppet information (och dess relation till entropi) är avgörande för tillämpningar inom molekylärbiologi. Låt oss därför börja med att beskriva Shannons ursprungliga entropikoncept (Shannon, 1948). Entropi i Shannons teori (definierad matematiskt nedan) är ett mått på osäkerhet om objektens identitet i en ensemble. Således, medan "en-1 tropy" och "osäkerhet" kan användas utbytbart, de kan aldrig mena information. Det finns ett enkelt samband mellan entropikonceptet i informationsteorin och Boltzmann-Gibbs entropikonceptet i termodynamiken, som kortfattat påpekats nedan. Shannonentropi eller osäkerhet definieras vanligen med avseende på en viss observatör. Närmare bestämt representerar ett systems entropi den osäkerhet som en särskild observatör har om systemets tillstånd. Det enklaste exemplet på ett system är en slumpmässig variabel, ett matematiskt objekt som kan ses som en N-sidig die som är ojämn, dvs sannolikheten för att den landar i något av sina N-tillstånd är inte lika för alla N-stater. För våra syften kan vi bekvämt tänka på en polymer av fast längd (fast antal monomerer), som kan anta någon av N möjliga tillstånd, där varje möjlig sekvens motsvarar ett möjligt tillstånd. Således, för en sekvens gjord av L monomerer tagna från ett alfabet av storlek D, skulle vi ha N = D L. Osäkerheten vi beräknar nedan beskriver sedan observatörens osäkerhet om molekylens sanna identitet (bland ett mycket stort antal identiskt förberedda molekyler: en ensemble), med tanke på att han bara har en viss mängd probabilistisk kunskap, som förklaras nedan. Denna hypotetiska molekyl spelar rollen av en slumpmässig variabel om vi ges dess sannolikhetsfördelning: uppsättningen av sannolikheter p 1,..., p N för att hitta den i dess N möjliga tillstånd. Låt oss därför kalla vår slumpmässiga variabel (random molekyl) "X", och ge namnen x 1,..., x N till dess N tillstånd. Om X kommer att hittas i tillstånd x i med sannolikhet p i, sedan entropy H av X ges av Shannon formel Jag har inte här specificerat grunden för den logg som ska tas i ovanstående formel. Specificera det tilldelar enheter till osäkerheten. Det är ibland bekvämt att använda antalet möjliga tillstånd av X som basen för logaritmen (i vilket fall entropin är mellan noll och en), i andra fall bas 2 är bekvämt (som leder till entropi i enheter "bitar"). För biomolekylära sekvenser får en bekväm enhet genom att ta logaritmer till basen av alfabetets storlek, vilket leder till entropi vars enheter vi ska kalla "mers". Sedan är maximal entropi lika med längden på sekvensen i mers. Låt oss undersöka Eq. (1) Närmare. Om den mäts i bitar ansluter en standardtolkning av H(X) som en osäkerhetsfunktion den till det minsta antalet "ja-nej"-frågor som i genomsnitt krävs för att identifiera tillståndet för 2 slumpmässiga variabel X. Eftersom denna serie av ja / inga frågor kan tänkas som en beskrivning av den slumpmässiga variabeln, kan entropy H (X) också ses som längden på den kortaste beskrivningen av X (Cover och Thomas, 1991). Om inget är känt om X är denna entropi H(X) = log N, det maximala värde som H(X) kan anta. Detta inträffar om alla tillstånd är lika sannolika: p i = 1/N ; i = 1,..., N. Om något (bortom det möjliga antalet tillstånd N) är känt om X, minskar detta vårt nödvändiga antal frågor, eller längden på band som krävs för att beskriva X. Om jag vet att tillstånd X = x 7, till exempel, är mycket osannolikt, då min osäkerhet om X kommer att vara mindre. Hur lär vi oss något om ett system? Det finns två val. Antingen får vi sannolikhetsfördelningen med hjälp av förkunskaper (t.ex. genom att ta isär systemet och teoretiskt förutsäga dess tillstånd) eller genom att göra mätningar på det, vilket till exempel kan avslöja att inte alla stater, i själva verket, tas på med samma sannolikhet. I båda fallen är skillnaden mellan maximal entropi och resterande entropi efter att vi antingen har gjort våra mätningar eller undersökt systemet, den mängd information vi har om systemet. Innan jag skriver in detta i en formel vill jag påpeka att informationen per definition är en relativ kvantitet. Det mäter skillnaden i osäkerhet, i det tidigare fallet entropi före och efter mätningen, och kan därför aldrig vara absolut, i samma mening som potentiell energi i fysik är inte absolut. I själva verket är det inte en dålig analogi att hänvisa till entropi som "potentiell information", eftersom alla systems entropi kan omvandlas till information (t.ex. genom mätning). I det ovannämnda fallet var informationen skillnaden mellan maximal och faktisk entropi i ett system. Detta är inte den mest allmänna definitionen som jag har antytt. Mer allmänt mäter informationen graden av korrelation mellan två system och minskar till en skillnad i entropier i specialfall. För att definiera information korrekt, låt mig införa en annan slumpmässig variabel eller molekyl (kalla det "Y"), som kan vara i stater y 1,..., y M med sannolikhet p 1,..., p M. Vi kan då, tillsammans med entropy H (Y ), införa den gemensamma entropy H (XY ), som mäter min osäkerhet om det gemensamma systemet XY (som kan vara i N · M stater). Om X och Y är oberoende slumpvariabler (som t.ex. två tärningar som kastas självständigt) 3 den gemensamma entropi kommer att vara bara summan av entropi av var och en av de slumpmässiga variablerna. Inte så om X och Y på något sätt är anslutna. Tänk dig till exempel två mynt som limmas ihop på ett ansikte. Sedan, huvuden för en av mynten kommer alltid att innebära svansar för den andra, och vice versa. Genom att limma ihop dem kan de två mynten bara ta sig an två stater, inte fyra, och den gemensamma entropin är lika med entropin i ett av mynten. Samma sak gäller för två molekyler som kan binda till varandra. Lägg först märke till att slumpmässiga molekyler inte binder. För det andra utförs bindningen av ömsesidig specificitet, vilket kräver att en del av sekvensen av en av molekylerna interagerar med sekvensen av den andra, så att den gemensamma entropin av paret är mycket mindre än summan av entropier av var och en. Helt klart, denna bindning inför starka korrelationer mellan staterna X och Y: om jag känner till tillståndet i en, kan jag göra starka förutsägelser om tillståndet i den andra. Den information som en molekyl har om den andra ges av d.v.s. skillnaden mellan summan av varje molekyls entropier och den gemensamma entropin. Kolon mellan X och Y i notationen för informationen är standard; det är tänkt att påminna läsaren om att information är en symmetrisk kvantitet: vad X vet om Y, Y vet också om X. För senare referens, låt mig presentera lite mer jargong. När mer än en slumpmässig variabel är inblandad, kan vi definiera begreppet villkorlig entropi. Detta är okomplicerat. Entropi av X villkorat på Y är entropi av X givet Y, det vill säga, om jag vet vilket tillstånd Y är i. Den är betecknad med H(X till ) (läs "H av X givet Y ") och beräknas som Denna formel är självförklarande: osäkerheten jag har om X om Y är känd är osäkerheten om det gemensamma systemet minus osäkerheten om Y ensam. Det senare, nämligen Y:s entropi utan hänsyn till X (i motsats till "villkorat på X") kallas ibland en marginell entropi. Med hjälp av konceptet villkorlig entropi kan vi skriva om Eq. (2) Som Vi har sett tidigare att för oberoende variabler H(XY ) = H(X) + H(Y ), så mäter information avvikelsen från självständighet. Faktum är att det 4 mäter exakt det belopp med vilket entropin av X eller Y minskas genom att känna den andra, Y eller X. Om jag är icke-noll, eftersom jag vet att en av molekylerna gör det möjligt för dig att göra mer exakta förutsägelser om den andra: det är helt klart precis vad vi menar med information på vanligt språk. Observera att denna definition minskar till exempel ges tidigare (information som skillnad mellan entropier), om de enda möjliga korrelationer är mellan X och Y, medan i avsaknad av den andra varje molekyl är equiprobable (vilket innebär att varje sekvens är lika troligt). I så fall måste den marginella entropin H(X) vara maximal (H = log N) och informationen är skillnaden mellan maximal och faktisk (dvs. villkorlig) entropi, som tidigare. Jag skall kort kommentera förhållandet mellan Shannons teori och termodynamik (Adami och Cerf 1999). För detta ändamål bör det räcka att påpeka att Boltzmann-Gibbs termodynamiska entropi är precis som Shannon entropi, bara att sannolikhetsfördelningen p i ges av Boltzmanns fördelning av de relevanta graderna av frihet (position och momentum): och den termodynamiska kvantiteten görs dimensionell genom att multiplicera Shannons dimensionslösa osäkerhet med Boltzmanns konstant. Det bör inte oroa oss att graderna av frihet i termodynamiken är kontinuerliga, eftersom någon särskild mätanordning som används för att mäta dessa mängder kommer att ha en ändlig upplösning, vilket gör dessa variabler effektivt diskret genom grovkornig. Ännu viktigare är att jämviktstermodynamiken förutsätter att alla entropier i isolerade system är som störst, så det finns inga korrelationer i jämviktstermodynamiska system, och därför finns det ingen information. Detta är viktigt för våra syften, eftersom det innebär, ett fortiori, att den information som lagras i biologiska genom garanterar att levande system är långt ifrån termodynamisk jämvikt. Informationsteorin kan därför ses som en typ av icke-equilibrium termodynamik. Innan jag undersöker användningen av dessa begrepp inom molekylärbiologin vill jag upprepa de viktigaste punkterna som tenderar att fördunklas när vi diskuterar information. Information definieras som förhållandet mellan två system. Den mäter mängden entropi som delas mellan två system, och 5 denna gemensamma entropi är den information som det ena systemet har om det andra. Kanske är detta den viktigaste insikten som jag vill förmedla: Information handlar alltid om något. Om det inte kan anges vad informationen handlar om, då har vi att göra med entropi, inte information. Faktum är att entropi ibland kallas, i vad som gränsar till missbruk av språket, "användbar information". Den tidigare diskussionen innebär också att information endast definieras i förhållande till det system som den är information om och därför aldrig är absolut. Detta kommer att vara särskilt tydligt i diskussionen om informationsinnehållet i genom, som vi nu går in i. Det finns en lång historia av att tillämpa informationsteori på symboliska sekvenser. Det mesta av detta arbete handlar om slumpmässigheten, eller, omvänt, regelbundenheten, i sekvensen. Genom att vi försäkrar oss om sannolikheten för att symboler finns på en sekvens eller ett meddelande kan vi uppskatta entropin hos symbolernas källa, men inte vad de står för. Med andra ord kan man inte få tillgång till information på detta sätt. Det bör dock noteras att studera horisontella korrelationer, dvs., korrelationer mellan symboler längs en sekvens snarare än mellan sekvenser, kan vara användbart för att skilja kodning från icke-kodning regioner i DNA (Grosse et al., 2000), och kan fungera som ett avståndsmått mellan DNA-sekvenser som kan användas för att montera fragment som erhållits från hagelgevär-sekvensering (Otu och Sayood, 2003). När det gäller den jargong som införs ovan, kommer mätning av sannolikheterna med vilka symboler (eller grupper av symboler) visas var som helst i en sekvens att avslöja den marginella entropi av sekvensen, dvs entropi utan hänsyn till miljö eller sammanhang. Entropi med avseende på miljön är entropi med tanke på miljön, en villkorlig entropi, som vi ska beräkna nedan. Detta kommer att innebära att få sannolikheten att hitta en symbol på en specifik punkt i sekvensen, i motsats till var som helst på den. Vi hänvisar ibland till detta som att få vertikala korrelationer mellan symboler. Få marginalen entropi av en genetisk sekvens kan vara ganska involverad (i synnerhet om multi-symbol sannolikheter krävs), men en mycket bra approximativ svar kan ges utan något arbete alls: Denna entropy 6 (för DNA-sekvenser) är ungefär två bitar per bas. Det finns avvikelser av intresse (t.ex. i GC-rika gener, etc.) Men övergripande detta är vad (icke-villkorlig) entropi av de flesta av DNA är (se, t.ex., Schmitt och Herzel 1997). Orsaken till detta är omedelbart klar: DNA är en kod, och koder avslöjar inte information enbart från sekvens. Optimala koder, t.ex., är sådana att kodade sekvenser inte kan komprimeras längre (Cover och Thomas, 1991). Även om DNA inte är optimalt (det finns vissa korrelationer mellan symboler längs sekvensen), är det nästan så. Samma sak verkar gälla för proteiner: ett slumpmässigt protein skulle ha log 2 (20) = 4,32 bitar entropi per plats (eller 1 mer, entropi av en slumpmässig monomer infördes ovan), medan den faktiska entropi är något lägre på grund av fördomar i det totala överflöd (leucin är över tre gånger så riklig som tyrosin, till exempel), och på grund av par och tripletter korrelationer. Beroende på vilken datamängd som används, protein entropi per plats är mellan 2.5 (Strait och Dewey, 1996) och 4.17 bitar (Weiss et al., 2000), eller mellan 0.6 och 0.97 mer. Det verkar faktiskt som om proteinsekvenser bara kan komprimeras med omkring 1% (Weiss et al. År 2000............................................................................................................ Det här är en ganska bra kod! Men denna entropi per symbol tillåter oss bara att kvantifiera vår osäkerhet om sekvensens identitet, men det kommer inte att avslöja för oss funktionen av generna. Om detta är allt som informationsteorin kan göra, måste vi hålla med kritikerna om att informationsteorin nästan är värdelös inom molekylärbiologin. Ändå har jag lovat att informationsteorin är relevant, och jag kommer för närvarande att påpeka hur. Låt oss för det första återgå till informationsbegreppet. Hur ska vi avgöra om potentiell information (även kallad entropi) finns i faktisk information, dvs. om den delas med en annan variabel? Nyckeln till information ligger i dess användning för att göra förutsägelser om andra system. Endast med hänvisning till en annan ensemble kan entropi bli information, d.v.s. främjas från oanvändbar till användbar, från potential till faktisk. Information lagras därför helt klart inte i en sekvens, utan snarare i sambanden mellan sekvensen och vad den beskriver, eller vad den motsvarar. Vad motsvarar biomolekylära sekvenser? Vad är innebörden i en genomisk sekvens, vilken information representerar den? Detta beror helt naturligt på vilken miljö sekvensen ska tolkas inom. Enligt de argument som framförs här har ingen sekvens en inneboende betydelse, utan endast en relativ (eller villkorlig) en med avseende på en miljö. Så, till exempel, genomet av Mycoplasma pneumoniae (en bakterie som orsakar lunginflammation-liknande luftvägssjukdomar) har en entropi av nästan en miljon baspar, vilket är dess genomlängd. Inom de mjuka 7 vävnader som den förlitar sig på för överlevnad, de flesta av dessa baspar (ca 89%) är information (Dandekar et al., 2000). I själva verket är Mycoplasma tvångsparasiter i dessa mjuka vävnader, efter att ha kastat från 50% till tre fjärdedelar av genomet av deras bakteriella förfäder (Bacillae). I dessa mjuka vävnader som gör många metaboliter lätt tillgängliga, vad var information för en Bacillus hade blivit entropi för Mycoplasma. När det gäller andra miljöer, Mycoplasma informationen kan betyda mycket lite, dvs, det kanske inte motsvarar något där. Huruvida en sekvens betyder något i sin omgivning avgör om den organism som är värd för den lever eller dör där. Detta kommer att göra det möjligt för oss att hitta ett sätt att skilja entropi från information i genom. Hur kan vi i praktiken avgöra om en viss bass entropi delas, dvs. om en nukleotid medför entropi eller information? Vid första anblicken kan man frukta att vi måste känna till en gens funktion (dvs. veta vad den motsvarar inom dess omgivning) innan vi kan bestämma informationsinnehållet; att vi till exempel kan behöva veta att en gen kodar för en alkoholdehydrogenas innan vi kan fastställa vilka baspar kod för det. Lyckligtvis är detta inte sant. Det är dock tydligt att vi kanske aldrig skiljer entropi från information om vi bara får en enda sekvens för att göra denna bestämning, eftersom symboler som innehåller information i en enda sekvens är oskiljaktiga från dem som inte gör det. Tricket ligger i att studera funktionellt likvärdiga uppsättningar av sekvenser, och substitutionsmönster vid varje justerad position. I en ekvilibrerad population, dvs. en där det har gått tillräckligt lång tid sedan den senaste evolutionära innovationen eller flaskhalsen, förväntar vi oss en position som kodar för att informationen ska vara nästan enhetlig över hela befolkningen (vilket innebär att samma baspar kommer att hittas på den positionen i alla sekvenser av den befolkningen), eftersom en mutation på den positionen skulle negativt påverka bärarens lämplighet, och med tiden rensas från ensemblen (detta innehar i sin exakta form endast för asexuella populationer). Positioner som inte kodar för information, å andra sidan, är selektivt neutrala, och med tiden kommer att ta på sig alla möjliga symboler på den positionen. Således kan vi tänka på varje position på genomet som en fyrsidig dö. A priori, osäkerheten (entropi) vid varje position är 8 två bitar, den maximala entropi:
Å andra sidan har vi frågan om vad en viss del av den genetiska entropin är "om" - det vill säga inte bara om den varierar, utan om den har information om variationer som finns inom miljön eller i organismens sammanhang.
Information theory in molecular biology
{'venue': 'Physics of Life Reviews 1 (2004) 3-22', 'journal': None, 'mag_field_of_study': ['Computer Science', 'Biology']}