Spinal metastaser, en metastaserande cancer i ryggraden, är den vanligaste maligna sjukdomen i ryggraden. I denna studie undersöker vi genomförbarheten av automatiserad metastasering vid magnetisk resonanstomografi (MRI) med hjälp av djupinlärningsmetoder. För att rymma den stora variabiliteten i metastaserande lesionsstorlekar, utvecklar vi en Siamese djup neural network approach bestående av tre identiska subnätverk för multi-upplösning analys och detektion av spinal metastaser. På varje plats av intresse, tre bildlappar vid tre olika upplösningar extraheras och används som indata till nätverken. För att ytterligare minska de falska positiva (FPs), vi utnyttja likheten mellan angränsande MRT skivor, och anta en viktad medelvärde strategi för att aggregera de resultat som erhållits av Siamese neurala nätverk. Detektionsprestandan utvärderas på en uppsättning av 26 fall med hjälp av en fri-respons-mottagare (FROC)-analys. Resultaten visar att det föreslagna tillvägagångssättet på ett korrekt sätt detekterar alla spinalmetastaserande lesioner samtidigt som det endast producerar 0,40 FP per fall. Med en verkligt positiv (TP) andel på 90 % minskar användningen av aggregation FP från 0,375 FP per fall till 0,207 FP per fall, en nästan 44,8 % minskning. Resultaten indikerar att den föreslagna Siamese neurala nätverksmetoden, kombinerat med aggregeringsstrategin, ger en livskraftig strategi för automatisk upptäckt av spinal metastaser i MRI-bilder. Nyckelord: djupinlärning, Siamese neural network, multi-resolution analys, spinal metastaser, magnetisk resonanstomografi 23 sjukdom (t.ex. omfattar enskilda eller flera segment). Trots de 24 fördelar som nämns ovan är den manuella upptäckten av spinalmetastaser i 25 3 MRT tidskrävande och tråkiga med tanke på det stora antalet skivor i 26 varje MRT-sekvens, liksom det stora antalet MRT-sekvenser vanligtvis 27 förvärvade för varje patient. Därför blir det nu nödvändigt att utveckla 28 datoriserade algoritmer för automatisk upptäckt av spinalmetastaser i 29 MRT-sekvenser. 30 Speciellt, som bild förvärv hastighet förbättras, många fler bilder med en 31 högre rumslig upplösning kan förvärvas under en undersökning, och som sådan 32 utveckla datorstödda analysmetoder är avgörande för att hjälpa radiologer 33 att göra en grundlig utvärdering av hela bilden som inom en rimlig 34 lästid. Detta är en trend för alla avbildningsmodaliteter (och alla patolo-35 gies), och särskilt sant för MRT på grund av de flera uppsättningar av bilder 36 förvärvas med hjälp av olika sekvenser. Även om dator-37-stödd analys för närvarande ännu inte kan ersätta visuell inspektion av utbildade radiologer, 38 ändå kan det redan vara ett viktigt verktyg för att visa de mest 39 kritiska information från hundratals bilder, på ett bekvämt sätt, för att hjälpa 40 radiologer under diagnos. Med tiden kan datoriserade metoder bli som 41 bra, eller till och med bättre än mänskliga experter och leda till betydande ekonomier med 42 skala och noggrannhet. Kort sagt, det är viktigt att utveckla datoriserade 43 metoder för att analysera MRT och andra avbildningsmetoder inom medicinen. 44 Med tanke på betydelsen av automatiserad metastasering har några 45 metoder utvecklats i litteraturen. Till exempel Roth et al. 46 [10] använde en djup konvolutionell neurala nätverk (CNN) som den andra nivån av en två-47 nivå, grov-till-fin, kaskad ram för att förfina kandidatlesioner från 48 den första nivån för sklerotisk ryggrad metastas detektion i datortomografi 49 (CT) bilder. Wiese m.fl. [11] utvecklat en automatisk metod baserad på en 50 4 vattendelare algoritm och graf klipp för att upptäcka sklerotisk ryggrad metastaser i 51 CT bilder. Och Yao et al. [12] Tillämpade en stödvektor maskin för att förfina 52 de initiala detektioner som produceras med en vattendelare algoritm för lytisk ben 53 metastas detektion i CT-bilder. Som kan ses är dessa studier 54 baserade på CT-bilder och använder inte spinal MRI-sekvenser. 55 På MRT-sidan har arbetet med att analysera MRT-sekvenser fokuserat på 56 olika problem. Till exempel Carballido-Gamio et al. [13] utvecklade en 57-normaliserad snittmetod för kotasegmentering vid spinal MRI. Huang m.fl. 58 [14] föreslog en AdaBoost-metod för kotdetektering och en iterativ 59-normaliserad snittalgoritm för kotsegmentering vid spinal MRI. Neubert 60 m.fl. [15] En automatisk metod som använder statistisk formanalys 61 och registrering av grå intensitetsprofiler för 3D intervertebral skiva och 62 kotkroppssegmentering i MRT. Men trots dessa ansträngningar och till 63 det bästa av vår kunskap finns det ingen studie i litteraturen som är fokuserad 64 på att upptäcka spinalmetastaser i MRT-sekvenser. 65 Automatiserad och exakt upptäckt av spinalmetastaser vid MRT är en svår 66 uppgift, till stor del på grund av den avsevärda variationen i storleken på ver-67 tebrae. Spinalmetastaser växer vanligtvis i kotor, som är uppdelade 68 i fem regioner: hals, bröst, ländrygg, korsben och koccyx. Storleken på 69 kotor varierar avsevärt både inom en individ, samt över 70 individer. Till exempel Zhou et al. [16] undersökte ländkotor 71 från 126 CT-bilder och fann att den övre kotbredden är 40,9 ± 3,6 72 mm hos honor och 46,1 ± 3,2 mm hos hanar vid L3, 46,7 ± 4,7 mm hos honor 73 och 50,8±3,7 mm hos hanar vid L4, och 50,4±4,4 mm hos honor och 54,5±4,9 74 mm hos hanar vid L5. 75 5 Under de senaste åren [17] har neurala nätverk och djupinlärning använts för att 76 framgångsrikt hantera en mängd olika problem inom ingenjörsvetenskapen, allt från com-77 puter vision [18, 19, 20] till taligenkänning [21], liksom inom naturvetenskaperna, inom områden som sträcker sig från högenergifysik [22, 23], kemi 79 [24, 25] och biologi [26, 27]. Därför är det naturligt att överväga att tillämpa 80 djupinlärningsmetoder också på biomedicinska bilder. Till exempel Ciresan et 81 al. har tillämpat en djupinlärning arkitektur på varje pixel för att ta itu med prob-82 lems av membran segmentering i elektronmikroskopi bilder [28]; Shen et 83 al. utvecklade flerskaliga konvolutionella neurala nätverk för lungknuta de-84 tection i CT-bilder [29]; Wang et al. antog en GoogLeNet-baserad metod 85 för automatisk upptäckt och diagnos av metastaserad bröstcancer i hela 86 bildbilder av indikatorn lymfkörtelbiopsier [30] och Wang et al. Framtagen 87 ett 12-lagers konvolutionellt neuralt nätverk för upptäckt av hjärt-kärlsjukdom 88 i mammogram [31]. Därför är det naturligt att anta att neurala nät-89 fungerar och djupinlärningsmetoder kan utnyttjas för effektiv upptäckt 90 av spinalmetastaser i MRT-sekvenser. 91 Kort sagt, syftet med denna studie är att utveckla en exakt beräkning-92 erized metod för att lokalisera metastaserad cancer i ryggraden med hjälp av djupinlärning 93 metoder. Särskilt föreslås en multi-upplösning analys för att hantera 94 den stora variabiliteten av kotstorlekar, och en Siamese neurala nätverk [32, 33] 95 är utvecklad för att införliva multi-upplösning representation av varje MRT 96 skiva. Mer exakt, för varje aktuell plats, en uppsättning bild 97 patchar centrerad på denna plats och vid olika upplösningar extraheras 98 från MRI-skivan, vilket resulterar i en multi-upplösning representation av in-99 put. Därefter matas de multi-upplösningsbild patchar in i en Siamese neural 100 6 nätverk för att förutsäga sannolikheten att motsvarande plats corre-101 sponds till en metastaserande lesion. Den Siamese neurala nätverket består av 102 flera identiska dubbla nätverk, varje handlar om fläckar av en annan reso-103 lutation. För att ytterligare ta bort falska positiva (FP) i spinal metastas detektion, 104 vi anser den strukturella likheten av angränsande skivor i MRT-sekvenser 105 och aggregera resultaten av Siamese neurala nätverk med hjälp av en viktad 106 medelvärde metod. 107 Resten av papperet är organiserat enligt följande. De föreslagna Siamese neural 108 nätverk och skiva-baserade aggregeringsmetoder för spinal metastas detektion 109 beskrivs i avsnitt 2 tillsammans med andra metodologiska aspekter. De 110 datainsamlingarna och experimenten beskrivs i avsnitt 3. Slutligen presenteras de 111 resultaten i avsnitt 4 och diskuteras i avsnitt 5. 2 / 1112: 00, 00: 00:00, 01:00, 01:00, 01:00, 01:00, 01:00, 01:00, 01:00, 01:00, 01:00, 01:00, 01:00, 01:00, 01:00, 01:00, 01:00, 01:00, 01:00, 01:00, 01:00, 01:00, 01:00, 01:00, 01:00, 01:00, 01:00, 01:00, 01:00, 01:00, 01:00, 01:00, 01:00, 01:00, 01:00 Metoder 113 126 putationally effektiv. Men i vårt fall, om den lokala bildlappen är för liten och kotan är stor, så ser detektorn bara en bråkdel av 128-kotan och kan inte exakt skilja mellan skada och normal. Om det lokala bildplåstret däremot är stort och kotan är liten, då är den största delen av 130 informationen i plåstret inte relevant för diskrimineringen. 131 Därför, för att rymma för stora variationer i kotstorlek, föreslår vi 132 en multi-upplösning tillvägagångssätt för spinal metastas detektion. Specifikt, för 133 varje plats av intresse, vi extrahera tre bild fläckar med samma storlek i 134 pixlar från varje MRT skiva, vilket motsvarar tre olika upplösningar, avkastning-135 ing tre olika lokala representationer av den aktuella platsen. Denna förordning träder i kraft den tjugonde dagen efter det att den har offentliggjorts i Europeiska unionens officiella tidning.
I litteraturen av REF, Juan et al. föreslog en metod som automatiskt detekterar spinalmetastaser i magnetisk resonanstomografi (MRI).