Rekonstruktion av neurala kretsar från volymelektronmikroskopi data kräver spårning av kompletta celler inklusive alla deras neuriter. Automatiserade metoder har utvecklats för att utföra spårningen, men utan kostsam mänsklig korrekturläsning är deras felfrekvens för hög för att få tillförlitliga kretsdiagram. Vi presenterar en metod för automatiserad segmentering som, liksom majoriteten av tidigare insatser, använder konvolutionella neurala nätverk, men innehåller dessutom en återkommande väg som tillåter iterativ optimering och förlängning av den rekonstruerade formen av enskilda neurala processer. Vi använde denna teknik, som vi kallar översvämningsfyllning nätverk, för att spåra neuroner i en datauppsättning som erhållits genom seriell block-face elektronmikroskopi från en manlig zebra finch hjärna. Vår metod uppnådde en genomsnittlig felfri neuritvägslängd på 1,1 mm, en storleksordning som är bättre än tidigare publicerade metoder som tillämpas på samma datauppsättning. Endast 4 koncentrationer observerades i en neurittestuppsättning med en längd på 97 mm. Den senaste automatiska neuritrekonstruktionen utförs i allmänhet i två steg. Först en convolutional nätverk slutsatser för varje bild plats sannolikheten för att det finns en gräns, med hjälp av intensiteten av voxels på och nära den platsen 13, 14. En separat algoritm (t.ex. vattendelare, anslutna komponenter eller en grafskärningsmetod) använder därefter gränskartan för att samla alla icke-gränsöverskridande voxlar i olika segment 11, [15] [16] [17] [18]. Vi slog ihop de två stegen genom att lägga till en andra ingångskanal till gränsklassaren, som bär den förutsagda objektkartan, vilket leder till en återkommande modell. Varför är detta till hjälp? Även om den kostnadsfunktion vi använde för att utbilda nätverket fortfarande bygger enbart på en voxel-wise jämförelse med utbildningen uppsättning, kan nätverket nu lära sig att använda sig av det faktum att vissa voxels i sitt synfält (FoV) redan har klassificerats med hög säkerhet i en tidigare iteration. Klassificeringsbeslut kan till exempel baseras på om dessa förutsägelser resulterar i en mer eller mindre rimlig form för den neurala processen. Forminformation är alltså införlivad i så mycket som det hjälper nätverket att förbättra sin förmåga att förutsäga gränskartan. Observera att detta begreppsmässigt skiljer sig helt från andra metoder som använder kostnadsfunktioner som är direkt beroende av segmentering prestanda 19, 20. Här presenterar vi ett förverkligande av detta koncept, som vi kallar Flood-Filling Networks (FFNs). FFN:er tränas för att skilja ett enda objekt (förgrunden) från alla andra objekt (bakgrunden). I motsats till tidigare maskininlärningsbaserade segmenteringsmetoder 11, 16, [21] [22][23], FFNs segment ett objekt i taget. Med varje iteration bär återkopplingsvägen tidigare segmenteringsbeslut framåt i tiden och sprider dem i rymden. Detta gör det möjligt för FFN, som har en relativt liten direkt FoV, att integrera information från långt bortom dess direkta FoV. Det omvandlar också problemet med endop klassificering till klassificering som är villkorad av tidigare förutsägelser (dvs. klassificeringsresultat från närliggande platser), som vi anser vara ett enklare problem (se Kompletterande för experimentella data som bekräftar denna intuition). Detta gör det möjligt för resultat i "lätta", otvetydiga områden att informera segmentering i "hårda", mer tvetydiga regioner. I följande beskriver vi kärnan FFN algoritm, hur FFNs kan användas för att rekonstruera en storskalig EM volym, jämföra noggrannhet med tidigare publicerade alternativ, och analysera felen i FFN rekonstruktion i detalj. Kvaliteten på den helautomatiska segmentering som erhållits med FFN visar sig vara långt större än tidigare metoder och öppnar för en effektiv analys av volymer som hittills varit oåtkomliga på grund av deras storlek. Flood-fyllning nätverk arkitektur, slutsatser, och utbildning En FFN har två inmatningskanaler, en för 3D-avbildningsdata och en annan för det aktuella tillståndet för "förutsedd objektkarta" (POM). Använda värden mellan 0 och 1, POM kodar för varje voxel algoritmens uppskattning av om voxel tillhör objektet som för närvarande segmenteras. Vid varje iteration av nätverkets återkommande dynamik uppdateras POM för alla voxels i nätverkets nuvarande FoV. Vi genererade envoxelfrön på platser långt borta från cellens putativa gränser som upptäcks av ett enkelt kantfilter, eftersom vi hade observerat att frön placerade nära cellgränser ofta orsakar angränsande objekt felaktigt sammanfogning (Fig. Denna förordning träder i kraft den tjugonde dagen efter det att den har offentliggjorts i Europeiska unionens officiella tidning. När segmentering av ett nytt objekt startas är nätverken FoV centrerade på utsädet och utsädesplatsens POM-värde är satt till 0,95, med alla andra voxlar inställda på 0,05. Värdena är offset från 1 och 0 för att förhindra nätverket från att lära sig stora interna vikter och översittande 24. Den direkta FoV (dvs. de voxlar som direkt påverkar det nuvarande FFN-inferenssteget) är relativt liten (33x33x17 voxels, eller 297 x 297 x 340 nm). Baserat på slutsatserna kan FoV flytta till en ny plats eller, alternativt, inference kan avsluta och generera ett fast segment från POM (se Metoder för detaljer). När ett segment är helt fast alla frön som överlappar detta segment kastas och segmenteringen startar på nytt på ett av de återstående fröna tills ingen återstår. Vi applicerade FFNs till en 96x98x114 μm (10624 x 10880 x 5700 voxels) storlek region av zebra finch hjärna som hade avbildats med Serial Block-face Electron Microscopy 25 vid en upplösning av 9 x 9 x 20 nm. En liten fraktion (0,02%, 148M voxels, som fanns i 35 subvolymer av varierande storlek som distribuerades genom hela volymen) av datamängden var manuellt segmenterad av mänskliga annoterare och användes som marksanning för att träna FFN. Kärnan i FFN är ett flerskikts CNN. Under varje iteration steg POM-värdena för flera voxlar uppdateras, i vårt fall alla voxels av den nuvarande FoV. Under utbildningen POM
En nyare metod integrerar membrandetektion och segmentering i samma end-to-end utbildningsbara neurala nätverksarkitektur REF.
High-Precision Automated Reconstruction of Neurons with Flood-filling Networks
{'venue': None, 'journal': 'bioRxiv', 'mag_field_of_study': ['Biology']}