Övervakade inlärningsmetoder används ofta i medicinsk bildanalys. Framgången med dessa strategier är dock i hög grad beroende av tillgången till stora manuellt detaljerade kommenterade datauppsättningar. Således en automatisk förfinad segmentering av hel-slide bild (WSI) är betydande för att lindra annotation arbetsbelastningen av patologer. Men de flesta av de nuvarande sätten kan bara ge en grov förutsägelse om lesion områden och förbrukar mycket tid i varje rutschkana. I detta dokument föreslår vi en snabb och raffinerad cancer regioner segmentering ram v3_DCNN, som först preselect tumör regioner med hjälp av en klassificering modell Inception-v3 och sedan använder en semantisk segmentering modell DCNN för raffinerad segmentering. Vårt ramverk kan generera en tät sannolikhet värmekarta med 1/8 sida av original WSI i 11,5 minuter på Camelyon16 dataset, vilket sparar mer än en timme för varje WSI jämfört med den ursprungliga DCNN-modellen. Experimentella resultat visar att vår strategi uppnår en högre FROC poäng 83,5% med mästarens metod för Camelyon16 utmaning 80,7%. Baserat på v3 DCNN modell, producerar vi ytterligare automatiskt värmekarta över WSI och extrahera polygoner av lesion regioner för läkare, vilket är mycket användbart för deras patologiska diagnos, detaljerad annotering och därmed bidrar till att utveckla en mer kraftfull djupt lärande modell. Bröstcancer är en vanlig sjukdom bland kvinnor, som är ansvarig för cirka 15% av alla nya cancerfall i USA, 2018 1. Men dess diagnos innebär ofta upptäckt av tumörregioner från en enorm histopatologisk hel bildbild (WSI), som kan vara extremt tidskrävande och felbenägen. För att hjälpa till med denna undersökning fokuserar fler och fler forskare på automatiserad upptäckt av cancermetastaser i WSI. De flesta av de nuvarande metoderna bara koncentrera sig på grov lokalisering av lesion områden och producera låg upplösning sannolikhet värmekarta. I detta dokument betonar vi dock mer en förfinad segmentering av WSI. Detta beror på att förfinad segmentering har fler fördelar. För det första är nu övervakade inlärningsmetoder fortfarande vanliga inom medicinsk bildanalys. Men framgången med dessa metoder beror på tillgängligheten av en stor mängd högkvalitativa manuella anteckningar. Det är uppenbart att förfinad segmentering bättre kan hjälpa läkare märka enorma hela bildbilder än dessa grov segmentering system. För det andra gör förfinad segmentering det också lättare för den efterföljande klassificeringsalgoritmen att extrahera tillförlitliga funktioner från finare värmekartor. För det tredje kan patologer också gradera bröstcancer mer exakt om de får bättre segmenteringsresultat. Det är dock inte en enkel uppgift att behandla helslide-bilder (WSI) som naturbilder. Vanligtvis, WSIs innehåller många datalager och det kan finnas miljarder pixlar, såsom 100.000 × 100.000 vid den högsta upplösningen, såsom 40×, vilket gör det mer komplicerat och tidskrävande att utföra detektion på sådana enorma bilder. Många forskare analyserade endast små histopatologiska bilder från vissa regioner av WSI 2-4 och utvärderade sina strategier på några små datauppsättningar och i låg upplösning, som inte är robusta i den verkliga applikationen. Nyligen, på grund av utvecklingen av den högupplösta skannern och datateknik, fler forskare börjar bedöma sina algoritmer på WSI dataset. Till exempel Bejnodi et al. 5 upptäckte ductal carcinom in situ (DCIS) i WSIs med hjälp av en multiscale superpixel segmentering metod. Balazsi m.fl. 6 förverkligade ett system för att upptäcka invasiva ductal bröstcarcinom. De segmenterade först WSI med superpixel metod i låg upplösning och sedan klassificerade varje superpixel region i hälsa eller cancervävnad med hjälp av slumpmässig skogsklassning. Förutom ovan nämnda traditionella bildbehandling och maskininlärning tillvägagångssätt, djupt lärande tillämpas också på WSI. På uppdrag av invasiv bröstcancer detektion, CruzrRoa et al. 7 använde en enkel konvolutional neurala nätverk (CNN) med tre lager för att upptäcka invasiv bröstcancer i WSI på 2× upplösning, vilket gjorde 4% och 6% förbättring jämfört med traditionella metoder med hjälp av funktionsextraktion. Ovanstående metoder utvärderas dock på sina egna små datauppsättningar. 2016 organiserade IEEE International Symposium on Biomedical Imaging (ISBI) Camelyon16 Challenge 8 för att upptäcka cancermetastaser i lymfkörteln och gav 400 WSI med detaljerade annoteringar för utbildning och testning. Olika från den naturliga bilden, WSI kan inte användas för att träna neurala nätverket direkt på grund av att innehåller miljarder pixlar. De flesta av de nuvarande metoderna 9-11 träna djupa neurala nätverk på lapp bilder extraherade från WSIs på en viss nivå och de fick den bästa prestandan på 40×. Wang m.fl. 10 vann slutligen denna tävling. De först skära WSIs i massor av regionala bilder med storleken 256 × 256 namngivna fläckar och tränade en GoogLeNet 12 klassificering modell med hjälp av dessa fläckar för att upptäcka cancer regioner. De utförde också experiment med hjälp av patchar vid olika upplösningar respektive, såsom 10×, 20× och 40×, och experimenten visar att patchar vid den största upplösningen 40× fick de bästa resultaten. På samma datauppsättning, Liu et al. 9 tränade en Inception-v3 13 klassificeringsmodell baserad på 299 × 299 plåster och förbättrade mätningen av cancer plats. Slutligen producerade de en lågupplöst förutsägelse värmekarta med 1/128 sidan av original WSI. Dessa befintliga klassificeringsmetoder har dock vissa begränsningar. För det första innehåller patchar som extraheras med olika storlekar olika kontextuell information, men dessa modeller är alla utbildade baserat på små patchar som leder till den kontextuella informationsförlusten. För det andra, varje rutschkana innehåller 10.000 till 400.000 fläckar (median 90.000) 9, vilket gör dessa sätt mycket tidskrävande. För det tredje, dessa klassificeringsmodeller kan bara skapa en låg upplösning förutsägelse i stället för förfinad segmentering eftersom tusentals pixlar i en patch bilder ges endast en etikett, såsom Lius arbete 9. Om de vill producera en tätare förutsägelse, som en värmekarta med 1/8 sida av original WSI, bör teststeget minskas från 128 pixlar till 8 pixlar. Så antalet patchbilder och bearbetningstiden för inferens kommer att ökas från N till 256 × N. Det är kraftigt tidskrävande och opraktiskt i den verkliga applikationen. Olika från klassificeringsmetoder, semantiska segmentering nätverk kan klassificera varje pixel i patchen till tumör eller normalt i stället för att klassificera hela patchen bilden i tumör eller normalt. På grund av poolning lager, kommer utdata förutsägelsen att tas bort sampled. Och provtagningsfrekvensen kommer att minskas när nätverksarkitekturen går djupare. För att upprätthålla en tät utgång, Chen et al. 14 föreslog en semantisk segmentering ram, tät djup convolutional neural network (DCNN), som använde en atrous convolution operation för att ersätta traditionell convolution och pooling operation. Det kan generera täta förutsägelser och upprätthålla samma mottagliga fält genom uppsampling operationer. Men att utföra semantisk segmentering på WSI kan spendera mycket tid och minnen för att bearbeta miljarder pixlar. Dessutom är de flesta vävnaderna i WSI normala, där det inte är nödvändigt att utföra semantisk segmentering. I detta dokument föreslår vi ett kaskadramverk v3_DCNN för snabb och förfinad segmentering av bröstcancerregioner. För det första tillämpar vi OTSU segmentering för att snabbt ta bort det mesta av icke-vävnadsbakgrunden i WSI. v3_DCNN använder först en klassificeringsmodell, slimmad ned Inception V3 för att snabbt välja ut de möjliga lesionsregionerna i en WSI. Därefter, en semantisk segmentering DCNN modell används för förfinad segmentering. Jämfört med nuvarande metoder, kan vårt ramverk få en tät förutsägelse med 1/8 sidan av original WSI i 11,5 minuter, vilket sparar mer än en timme för varje WSI att producera samma upplösning värmekarta med semantiska segmentering modell. Här ger vi upp för att producera värmekartan med samma upplösning som första WSI på grund av följande överväganden. (1) I själva ansökan finner vi att den 1/8 sidan av original WSI är tillräcklig för att hjälpa patologer i annotering och gradering. (2) Att uppgradera förutsägelserna på 1/8 sida till den ursprungliga storleken kräver mycket mer tid och datorminne, vilket kan vara opraktiskt. Dessutom utbildar vi olika modeller med hjälp av patcher med olika kontextuell information och verifierar att träningsmodell på större patcher kan använda kontextuell information bättre och visa bättre prestanda. På Camelyon16 dataset, vårt ramverk uppnår FROC poäng 83,5%, vilket är högre än 80,7% från mästarens metod för Camelyon16 utmaning. Vi beräknar också MILU metriska och Tumor-mIoU metriska för att mäta resultatet av förfinad segmentering och den högsta Tumor-mIoU metriska är 80,69%. Slutligen, baserat på v3_DCNN ramverk, producerar vi automatiskt värmekarta över WSI och extrahera polygoner av tumörregionen för läkarna, vilket är mycket användbart för patologisk diagnos, datorstödd notering och därmed bidrar till att utveckla nya djupt lärande modeller. För att jämföra med de state-of-the-art strategier, utvärderar vi också vår metod på Camelyon16 dataset 8, som innehåller 400 WSIs av lymfkörtel från Radboud University Medical Center och University Medical Center Utrecht. I tabell 1 anges antalet diabilder för utbildning och testning i datasetet Camelyon16. WSI lagras i allmänhet i en pyramidstruktur med flera upplösningar. Den största upplösningen är 40× förstoring, även kallad nivå 0. Nivå 1 är på 20× och bredden och höjden på bilden på 20× är en halv av det på 40×, och så vidare. Vanligtvis finns det sju eller åtta nivåer i en WSI. Experimentell inställning. Baserat på Camelyon16 testdata, designar vi tre experiment för att motivera våra bland olika v3_DCNN modeller för att främja segmentering resultat. Slutligen jämför vi vår metod med de senaste metoderna. För att påskynda bearbetningstiden antas OTSU-segmentering som ett förbearbetningssteg för att snabbt ta bort större delen av icke-vävnadsbakgrunden för varje WSI. Metriskt. I våra experiment, förutom ovannämnda AUC och FROC mätvärden, antar vi en annan metrisk mIoU (Mean Intersektion over Union), som ofta används i semantisk segmentering, för att validera pixel-nivå märkning prestanda. Sättet att beräkna MIoU visas som formel (1). K + 1 i formel (1) avser antalet klasser. I är etiketten på jordsanningen, och j är förutsägelsen etikett. P ij är det totala antalet av de pixlar som är märkta som j men förutspådde som i. MILOU representerar medelvärdet av IoUs beräknas på både tumör och normala diabilder. För att ge ett mer rimligt mått på resultaten av tumör område segmentering, använde vi också en annan metrisk, Tumor-mIoU, som är medelvärdet av IoUs beräknas på tumör diabilder. Alla experiment utförs bara med hjälp av en enda GeForce GTX 1080Ti GPU. Utvärdering av DCNN-modeller som utbildats med olika kontextuell information. Som diskuterats ovan innehåller olika patchbilder olika kontextuell information, så vi tränar och utvärderar våra DCNN-modeller med olika träningspatchstorlekar. Vi väljer tre patchstorlekar på 321 × 321, 768 × 768 och 1280 × 1280 för att träna vår DCNN-modell. Och eftersom semantisk segmenteringsmodell kan anpassas till ingångar med olika storlekar under inferens, testar vi våra modeller med 2560 × 2560 patcher, den största storleken som kan matas in i vår GPU, för att minska testtiden. AUC- och FROC-måtten beräknas för jämförelse. För beräkningen av AUC, använder vi den maximala sannolikheten för tumör att vara förutsägelsen i WSI klassificering uppgift. I tumör lokalisering uppgift, använder vi den maximala sannolikheten inom varje lesion region att vara förutsägelsen av varje region och beräkna FROC metrisk. Figur 1 visar resultaten av tre DCNN-modeller baserade på olika kontextuella uppgifter. Jämfört med grundsanningen täcker de tre modellernas värmekartor de flesta cancerområden, vilket verifierar giltigheten hos vår DCNN-modell. För kvantitativ analys beräknar vi AUC- och FROC-mått som tabell 2 visar. Vi rapporterar också deras 95% konfidensintervall med hjälp av en bootstrap metod: Vi första slumpmässigt urval diabilder med ersättning från testdatasetet och bildar en ny omprovade dataset med samma storlek som den ursprungliga testdataset. Sedan beräknar vi AUC och FROC för detta omprovade dataset. Vi upprepar dessa transaktioner för 2000 gånger och rapporterar slutligen värdena 2,5 procent och 97,5 procent percentiler. DCNN-1280-modellen uppnår det bästa resultatet med en total AUC på 95,0% och en total FROC på 74,4%, vilket visar att träning med plåster med större storlek som innehåller mer kontextuell information kan underlätta tumörlokalisering och segmentering prestanda. Utvärdering av vårt snabba och förfinade V3_DCNN-segmenteringsramverk. I denna del utvärderar vi vårt föreslagna v3_DCNN ramverk, som antar en klassificeringsmodell för snabb förbearbetning och använder DCNN för förfinad segmentering. Här följer vi direkt det befintliga arbetet 9 och använder en nedlimmad Inception V3-modell för klassificering. Som Fig. 2 visar, klassificeringsmodellen kan ta bort de flesta av de normala områdena, såsom området inuti den gula rektangeln. Dessutom har värmekartan som produceras av klassificeringsmodellen en låg upplösning och det finns ljud. Vår segmenteringsmodell DCNN kan producera en tät förutsägelse som gör gränsen smidigare och utför en andra filtrering på någon feldetektering, såsom den normala arean i grön rektangel. Tabell 3 visar mätvärdena och bearbetningstiden för olika modeller på Camelyon16-testuppsättningen. Vårt snabba segmenteringsramverk v3_DCNN uppnår bättre övergripande resultat på alla metriska nivåer än en enda klassificeringsmodell och en enda segmenteringsmodell. Det bästa resultatet uppnåddes med v3_DCNN-1280 med en total AUC på 96,6%, en total FROC på 82,9%, mIoU 68,54% och Tumor-mIoU 80,69%. Genom resultaten av v3_DCNN tränade på patchar med olika storlekar kan vi också finna att modellen tränad på patchar med större storlek uppnår ett bättre övergripande resultat. Större träningsplåster kan innehålla mer kontextuell information, vilket kommer att bidra till bättre segmenteringsprestanda. Observera dock att prestandan hos vår klassificeringsmodell slimmad-down Inception-v3 är lägre än tidigare arbete 9. Detta kan bero på begränsningen av våra beräkningsresurser och det detaljerade valet av parametrar. Vi använder endast en GTX 1080Ti GPU för träning medan befintlig metod 9 antog 8 NVIDIA Pascal GPU totalt, vilket gav en fördel i deras modellutbildning. I tabell 3 visar kolumnen Tid/slide den genomsnittliga bearbetningstiden för varje rutschkana, som omfattar alla steg, såsom förbearbetning, extraktionspatch, modellslutledning och sömmekarta. För att få värmekartan med 1/8 sidan av WSI, är körtiden för en segmentering modell 79 minuter, medan vår v3_DCNN ram bara tar 11,5 minuter för varje rutschkana. Föreslagen v3_DCNN kan minska mer än en timme för varje WSI eftersom klassificeringsmodellen tar bort de flesta av de normala områdena och antalet plåster för segmentering minskas till 6% från 198 K till 12 K. Den enda klassificeringsmodellen Inception-v3 kan producera en värmekarta med 1/128 sida av original WSI genom att kosta 6,5 minuter för varje rutschkana. Men för en tät värmekarta som den med 1/8 sidan av WSI, Inception-v3 klassificering modell bör minska teststeg från 128 pixlar till 8 pixlar, vilket kraftigt kommer att öka antalet fläckar och öka bearbetningstiden till ca 6,5 × 256 = 1664 min/slide. Det är mer tidskrävande än att använda en enda segmenteringsmodell DCNN för samma täta värmekarta. Utvärdering av ensemblemodeller. För att ytterligare förbättra vårt segmenteringsresultat utför vi den genomsnittliga driften bland olika v3_DCNN-modeller. Som framgår av tabell 4 uppnår genomsnittet för v3_DCNN-768 och v3_DCNN-1280 bästa FROC 83,5%. Men jämfört med modellen v3_DCNN-1280 minskar den totala AUC, mIoU och Tumor-mIoU något. Det bästa Tumor-mIoU uppnås med v3_DCNN-1280 med 80.69%. Det är 6,55% högre jämfört med 74,14% produceras av v3 klassificeringsmodell i tabell 3. Detta visar att vår v3_DCNN-modell kan ge en mer förfinad segmentering av tumörregioner än klassificeringsmodellen. För att utvärdera våra metoder jämför vi med de bästa metoderna i Camelyon16 utmaning 11 i tabell 5. HMS och MIT vann utmaningen genom att kombinera resultaten av två GoogLeNet med en total AUC på 99,4% och en total FROC på 80,7%. I våra metoder kan den bästa totala FROC nå 83,5%, vilket är jämförbart med deras metod. För AUC metriska, HMS och MIT extraherade 28 funktioner från värmekartan och tränade en slumpmässig skog klassificerare för att förutsäga sannolikheten för en WSI som innehåller tumörer. Men vi använder helt enkelt den maximala sannolikheten inom en WSI utan någon komplex efterbehandling för AUC, vilket kan göra vår AUC metrisk lägre än dem. Observera dessutom att sidan av deras värmekarta är 1/4 av den ursprungliga WSI. När du använder en enda GTX 1080Ti GPU som vår, processtiden för två GoogleNets kommer att vara mer än 13000 minuter per bild. Men även om vår värmekarta har en relativt lägre upplösning, vår v3_DCNN uppnår jämförbar prestanda samtidigt som den använder en uppenbart kortare tid. Dessutom, jämfört med patologer, som kräver ca 14 minuter per WSI 11, vår föreslagna v3_DCNN-1280 överträffar dessa experter i både bild klassificering och tumör lokalisering samtidigt som det tar ca 11,5 minuter per bild. Dessutom märker vi att en opublicerad metod 9 i arXiv har rapporterat ganska höga resultat i AUC och FROC. Vid användning av enkel slimmad-down Inception-v3-modell är deras totala AUC och FROC 97,1 % respektive 86,4 %. Efter användning av modellensemblen kan total AUC och FROC förbättras till 97,7% och 88,5%. Egentligen försökte vi hårt att upprepa sina experiment och ville motivera effektiviteten i vår v3_ DCNN baserat på deras Inception-v3 modell. Men på grund av begränsningen av beräkningsresurserna kan vår slutliga Inception-v3-modell endast uppnå 95,8% och 72,9% i den totala AUC och FROC. Raffinerad segmentering kan också vara användbart för datorstödd notering på nya enorma WSI-bilder för läkare. I den verkliga applikationen märker patologerna tumörregioner genom att rita konturen med en polygon, som är tidskrävande och tröttsamt arbete. För att visa vår förfinade segmenteringsprestanda väljer vi v3_DCNN-1280-modellen med den högsta Tumor-mIoU för att producera en binär bild från värmekartan med hjälp av tröskel 0.5. Och sedan antar vi en kontur hämta metod 15 för att erhålla externa polygoner av alla segmenterade tumörområden. Slutligen ritar vi polygonerna med hjälp av ASAP öppen källkod plattform 16 på WSIs. Som Fig. 3 visar, första raden i bild. 3 är de externa polygoner av tumörregioner som produceras av vår Inception-v3 modell visas på 40×, som produceras baserat på värmekartan med 1/128 sidan av WSI av vår Inception-v3 modell. Vi kan se att det inte passar gränsen så bra. Den andra raden och den tredje raden är de externa polygoner av tumörregioner baserat på vår täta värmekarta med 1/8 sida av WSI genom vår v3_DCNN-1280 modell i 5× respektive 40×. Här 5× har motsvarande upplösning med vår täta värmekarta med 1/8 sida. Vi kan se att polygonerna kan passa gränsen av tumörområden nära, även på 40×. Med våra externa polygoner av tumörregioner, läkare kan ytterligare kontrollera eller ändra märkningen information om tumörregioner lätt, vilket kommer att spara mycket tid för deras märkning arbete. I detta dokument föreslås en snabb och förfinad ram för segmentering av cancerregioner i bröstpatologiska WSI. För det första tillämpar vi OTSU-segmentering för att snabbt ta bort det mesta av icke-vävnadsbakgrunden. Sedan använder vi en förenklad Inception-v3 klassificering modell 9.13 för att få en grov förutsägelse av tumörområden. Vi använder vidare vår DCNN semantiska segmenteringsmodell på dessa förvalda områden för att få förfinad segmentering av tumörregioner. Experimentella resultat illustrerar vårt föreslagna v3_DCNN ramverk kan generera en tät värmekarta med hög modell AUC (%) FROC (%) mIoU (%) Tumor-mIoU (%) 99,5) 81,9 (74,0, 89,5) lokaliseringsprestanda och mindre bearbetningstid, vilket är viktigt och användbart för ytterligare tumördiagnos, gradering och datorstödd annotation av enorma WSI för patologer. I framtiden kommer vi att ytterligare förbättra vår tumörsegmenteringsmetod och testa på fler brösthistopatologiska bilder från samarbetsvilliga sjukhus. Figur 4 visar vårt föreslagna snabba och förfinade ramverk för segmentering av cancerregioner v3_DCNN. För att minska tiden använder vi först OTSU 17 segmenteringsmetod för att ta bort icke-vävnadsbakgrunden i både tränings- och teststadier. Sedan i träningsstadiet extraherar vi lappbilder från WSI för att träna klassificering modell bantad-down Inception-v3 9.13 och semantisk segmentering modell DCNN 14 respektive. Syftet med klassificeringsmodellen är att upptäcka tumörområden snabbt, medan segmenteringsmodellen är att utföra förfinad segmentering. Under testningen extraherar vi en liten patch för att dra slutsatsen om klassificeringsmodell och sedan kan vi snabbt få en värmekarta med låg upplösning. Baserat på denna värmekarta tillämpar vi bara vår semantiska segmenteringsmodell på de regioner som förutspås som tumör genom klassificeringsmodell, vilket drastiskt kan minska antalet testplåster och spara mycket tid för segmentering. Detaljerna kommer att införas i följande. Förbehandling av WSI genom att ta bort icke-vävnadsbakgrund. Som Fig. 5 visar, en typisk WSI innehåller många icke-vävnad bakgrunder. Vi filtrerar bort bakgrunden med hjälp av en snabb segmenteringsmetod OTSU 17. Det är orimligt att tillämpa OTSU direkt på WSI vid 40× förstoring, som innehåller ca 100.000 × 100.000 pixlar. Så vi använder OTSU på lägre 1,25× förstoring. Sedan kartlägger vi positionen för förgrunden i den filtrerade bilden till WSI vid 40× förstoring för patch extraktion. Speciellt, vi först konvertera RGB till HSV färgrymd och sedan tillämpa OTSU på H, S och V tre kanaler respektive. Experimentet visar att det bästa resultatet uppnåddes på S-kanalen som Bild. 5 föreställningar. Med hjälp av denna förbehandling kommer ca 82 % av bakgrundsregionen att avlägsnas, vilket kommer att användas både i utbildnings- och testskedet. Cancer Regioner Raffinerad Segmentering av semantiska Segmentering Modell. Som diskuteras i inledningen kan befintliga metoder med klassificeringsmodeller endast ge en grov förutsägelse i stället för förfinad segmentering. Att minska teststeget av inferens kommer att öka antalet patchar och bearbetningstiden. Vi antar semantisk segmenteringsmodell för att realisera förfinad segmentering av cancerregioner. Vi förbättrar modellen DCNN 14 genom att använda Resnet-101 18 arkitektur som vår segmenteringsmodell. I vår modell, de flesta av
Medan båda dessa metoder är kapabla att anpassa sig till de mest relevanta funktionerna i en bild, varken justera antalet patchar som används, och därmed, bearbetningstiden REF, för att passa de individuella kraven för varje WSI.
A Fast and Refined Cancer Regions Segmentation Framework in Whole-slide Breast Pathological Images