Luorescensmikroskopi är ett oumbärligt verktyg i livsvetenskaperna för att undersöka den spatio-temporala dynamiken hos celler, vävnader och utvecklande organismer. Nyligen gjorda framsteg som ljusbladsmikroskopi [1] [2] [3], strukturerad belysningsmikroskopi 4, 5, och superupplösningsmikroskopi 6-8 möjliggör tidsupplöst volymetrisk avbildning av biologiska processer inom celler vid hög upplösning. Den kvalitet vid vilken dessa processer kan registreras troget, dock bestäms inte bara av den rumsliga upplösningen av den optiska anordning som används, men också av den önskade tidsupplösningen, den totala varaktigheten av ett experiment, den nödvändiga bilddjupet, den uppnåeliga fluorophore densitet, blekning, och fototoxicitet 9,10. Dessa aspekter kan inte alla optimeras vid samma tidpunkter, t.ex. genom att offra signal-till-buller-förhållandet (SNR) genom att minska exponeringstiden för att få bildhastighet. Sådana avvägningar avbildas ofta av ett designutrymme som har upplösning, hastighet, ljusexponering och bilddjup som sina dimensioner (Fig. 1a), med volymen begränsas av maximal foton budget kompatibel med prov hälsa 11, 12. Dessa kompromisser kan hanteras genom optimering av mikroskopi hårdvara, men det finns fysiska gränser som inte lätt kan övervinnas. Därför blir beräkningsförfaranden för att förbättra kvaliteten på förvärvade mikroskopibilder allt viktigare. Superupplösningsmikroskopi 4, [13] [14] [15] [16], dekonvolution [17] [18] [19], ytprojektionsalgoritmer 20, 21, och denoiseringsmetoder [22] [23] [24] är exempel på sofistikerade algoritmer för bildrenovering som kan pressa gränsen för konstruktionsutrymmet, och därmed möjliggöra återvinning av viktig biologisk information som skulle vara oåtkomlig enbart genom avbildning. De vanligaste problemen med bildrenovering har dock flera möjliga lösningar och kräver ytterligare antaganden för att välja en lösning som slutlig restaurering. Dessa antaganden är vanligtvis allmänna, till exempel kräver en viss jämnhet i den återställda bilden, och är därför inte beroende av det specifika innehållet i de bilder som ska återställas. Intuitivt bör en metod som utnyttjar tillgänglig kunskap om de data som finns till hands ge överlägsna restaureringsresultat. Djupt lärande är en sådan metod, eftersom det kan lära sig att utföra komplexa uppgifter på specifika data genom att använda flerskiktade artificiella neurala nätverk tränas på en stor kropp av tillräckligt kommenterade exempeldata 25, 26. I biologi, djupt lärande metoder har till exempel tillämpats på automatisk extraktion av connectomes från stora elektronmikroskopi data 27, för klassificering av bildbaserade hög innehåll skärmar 28, fluorescence signal förutsägelse från etikettfria bilder 29, 30, upplösning förbättring i histopatologi 31, eller för single-molecule lokalisering i super-upplösning mikroskopi 32, 33. Den direkta tillämpningen av djupinlärningsmetoder för bildrenoveringsuppgifter i fluorescencemikroskopi kompliceras dock av avsaknaden av tillräckliga träningsdata och det faktum att det är omöjligt att generera dem manuellt. Vi presenterar en lösning på problemet med saknade träningsdata för djupinlärning i fluorescensmikroskopi genom att utveckla strategier för att generera sådana data. Detta gör det möjligt för oss att tillämpa gemensamma konvolutionella neurala nätverk arkitekturer (U-Nets 34 ) för bildrenovering uppgifter, såsom bild denoisering, ytprojektion, återhämtning av isotropisk upplösning, och återställande av sub-diffraktion strukturer. Vi visar, i en mängd olika bildscenarier, att utbildad fluorescensmikroskopi är en viktig drivkraft för upptäckter i livsvetenskaper, med observerbara fenomen begränsas av mikroskopets optik, kemin i fluorophores, och den maximala fotonexponering tolereras av provet. Dessa gränser kräver kompromisser mellan bildhastighet, rumslig upplösning, ljusexponering och bilddjup. I detta arbete visar vi hur innehållsmedveten bildrenovering baserad på djupinlärning utökar det spektrum av biologiska fenomen som kan observeras av mikroskopi. Vi demonstrerar på åtta konkreta exempel hur mikroskopibilder kan återställas även om 60 gånger färre fotoner används vid anskaffning, hur nära isotropisk upplösning kan uppnås med upp till tiofaldig underampling längs den axiella riktningen, och hur rörformade och granulära strukturer mindre än diffraktionsgränsen kan lösas med 20 gånger högre bildhastigheter jämfört med state-of-the-art metoder. Alla utvecklade bildrenoveringsmetoder är fritt tillgängliga som programvara med öppen källkod i Python, FIJI och KNIME.  NATUR METHODS Articles NATURE METhods innehåll-medveten bild restaurering (CARE) nätverk ger resultat som tidigare var ouppnåeliga. Detta innebär att tillämpningen av CARE på biologiska bilder överskrider begränsningarna i designutrymmet (Fig. 1a), tänja gränserna för den möjliga i fluorescencemicroscopy genom maskin-lärda bild beräkning.
De innehållsmedvetna bildrenoveringsnäten (CARE) utbildades på par registrerade bilder av både höga och låga signal-till-brus-förhållanden (SNR) för att göra det möjligt att återställa biologiska strukturer från låga SNR-bilder REF.
Content-aware image restoration: pushing the limits of fluorescence microscopy
{'venue': 'Nature Methods', 'journal': 'Nature Methods', 'mag_field_of_study': ['Medicine', 'Chemistry']}