Medicinsk avbildning har rankats som en av de viktigaste medicinska utvecklingarna under de senaste 1000 åren. 1 Under de senaste 10 åren, enorma mängder medicinska bilddata har fångats och registrerats i ett digitalt format under daglig klinisk praxis, medicinsk forskning och utbildning. [2] [3] [4] [5] Dessa uppgifter utgör en rik informationskälla som är ovärderlig för diagnos, behandling, återhämtning, rehabilitering osv. Detta gäller särskilt för cancerrelaterad forskning och klinisk praxis: med utvecklingen av medicinsk avbildning, 6 vårdgivare kan inte bara undersöka inuti kroppen utan också se djupt inom kaoset i cancerceller. 6 Till exempel, medicinsk avbildning används för att undersöka, diagnostisera, och stadium cancer, för att vägleda cancerbehandlingar, för att övervaka cancerrecidiv, och för att stödja cancerforskning, såsom drogupptäckt och terapeutisk innovation. Att främja lämplig användning av informationsteknik i medicinsk avbildning som den nyaste gränsen för medicinsk avbildning lovar att i hög grad bidra till att förbättra kvaliteten på cancervården för varje enskild patient till lägre kostnad. Gemensam informationsteknik och beräkningsuppgifter i samband med medicinsk avbildning omfattar bildförvärv, bildmanipulation, bildhantering och bildintegrering. 7 Medicinsk bildsökning är en av de få beräkningskomponenter som täcker ett brett spektrum av uppgifter, inklusive bildmanipulation, bildhantering och bildintegration. Målet med medicinsk bildsökning är att hitta de mest kliniskt relevanta bilderna som svar på specifika informationsbehov som representeras som sökfrågor. Textbaserad informationssökningsteknik är väl underbyggd. De begränsas dock av kvaliteten och mängden av textanteckningarna i bilderna. Effektiva och effektiva innehållsbaserade metoder kan användas tillsammans med textbaserade metoder för att förbättra träffsäkerheten och fullständigheten i sökresultaten. Motiverad av de viktiga potentiella kliniska fördelarna har innehållsbaserad medicinsk bildsökning (CBMIR) blivit ett mycket aktivt forskningsområde under det senaste årtiondet.  AbstrAct: Medicinsk avbildning håller på att bli en viktig del av kriget mot cancer. Stora mängder medicinska bilddata fångas och registreras i digitalt format under cancervårds- och cancerforskning. Inför en sådan oöverträffad volym av bilddata med heterogena bildformer är det nödvändigt att utveckla effektiva innehållsbaserade system för insamling av medicinska bilder för klinisk cancerpraktik och forskning. Även om betydande framsteg har gjorts inom olika områden av innehållsbaserad bildsökning (CBIR) forskning, gav direkta tillämpningar av befintlig CBIR-teknik på de medicinska bilderna otillfredsställande resultat, på grund av de unika egenskaperna hos medicinska bilder. I detta dokument utvecklar vi en ny multimodal medicinsk bildsökningsmetod baserad på de senaste framstegen i den statistiska grafiska modellen och det djupa lärandet. Specifikt undersöker vi först en ny utökad probabilistisk Latent semantisk analysmodell för att integrera visuell och textbaserad information från medicinska bilder för att överbrygga den semantiska klyftan. Vi utvecklar sedan en ny djup Boltzmann maskinbaserad multimodal inlärningsmodell för att lära oss den gemensamma densitetsmodellen från multimodal information för att härleda den saknade modaliteten. Experimentella resultat med stor volym av verkliga medicinska bilder har visat att vårt nya tillvägagångssätt är en lovande lösning för nästa generations indexering och hämtningssystem för medicinsk bildåtergivning. Papper som är föremål för oberoende expert blind peer review av minst två granskare. Alla redaktionella beslut som fattas av oberoende akademisk redaktör. Efter inlämning manuskript var föremål för anti-plagiat scanning. Före publiceringen har alla författare lämnat en skriftlig bekräftelse på att de godkänner publicering av artiklar och att de uppfyller alla tillämpliga etiska och rättsliga krav, inklusive riktighet i fråga om upphovsmans- och rapportörsinformation, offentliggörande av konkurrerande intressen och finansieringskällor, överensstämmelse med etiska krav avseende deltagare i human- och djurstudier samt efterlevnad av tredje parts eventuella upphovsrättskrav. Denna tidskrift är medlem i Kommittén för publikationsetik (CoPe). Publicerad av Libertas academica. Läs mer om den här tidskriften. Cao et al CanCer InformatICs 2014:13(s3) Bland många toppmoderna tekniker inom CBMIR-forskning är en av de mest lovande riktningarna att korrelera multimodal information (t.ex. text och bild) eller att använda kombinationer av text- och visuell analysteknik för effektivare och effektivare CBMIR. [14] [15] [16] [17] [18] [19] I detta dokument fokuserar vi på två metoder som är allmänt tillgängliga i praktiken: visuell information om en medicinsk bild och motsvarande text annotering av den medicinska bilden. Även om omfattande forskning har genomförts inom området medicinsk bildsökning, är verkliga verktyg och tillämpningar som kan få tillgång till medicinska bilddata genom sitt innehåll sällsynta i klinisk praxis. [20] [21] [23] Ett av de största hinder som vi har identifierat är att det finns ett semantiskt gap mellan lågnivåfunktionerna (t.ex. visuella och textrelaterade egenskaper på låg nivå) och de medicinska begreppen på hög nivå. Nyckeln till att ta itu med dessa frågor är att utveckla nya semantiska meningsfulla funktioner från multimodal information för att överbrygga den semantiska klyftan och för att möjliggöra effektiva och effektiva CBMIR. En annan utmaning är att de verkliga data är mycket bullriga och vissa modalitet information (t.ex. text annotation) kan saknas från inmatning. För att ta itu med den saknade modalitetsfrågan krävs nya algoritmer som kan härleda den saknade modalitetsinformationen från den befintliga kända modaliteten (t.ex. att den saknar textanmärkning från känt visuellt innehåll) för att göra systemet användbart i klinisk praxis. Målet med vår forskning i denna uppsats är att utveckla, utvärdera och demonstrera nya bild- och textanalystekniker för skalbar semantisk analys och hämtning av medicinska bilder. För att övervinna de begränsningar som infördes i föregående stycke är vårt fokus i detta dokument att skapa semantiska egenskaper. Vår nya strategi har stor potential att avsevärt förbättra prestandan för medicinsk bildsökning. Den har också goda möjligheter att tillämpas i klinisk praxis och vårdtillämpningar. Vår strategi är inspirerad av den senaste tidens framsteg i statistiska grafiska modeller 24,25 och djupinlärning. 26 Vi utvecklar först en ny extended probabilistic Latent Semantic Analysis (pLSA) modell för att integrera visuell och textmässig information från medicinska bilder för att överbrygga den semantiska klyftan. Den föreslagna pLSA-modellen kan generera ett representationsutrymme med önskad funktion (t.ex., likhet i detta funktionsutrymme innebär likhet i motsvarande medicinska begrepp). Även om den föreslagna PLSA-modellen är mycket bra på att överbrygga den semantiska klyftan, står vi fortfarande inför några ytterligare problem när vi använder denna modell i verkliga tillämpningar. I verkliga kliniska tillämpningar, de situationer där vissa metoder saknas och är bullriga händer ofta. Vi planerar att utveckla vår andra modell för att ta itu med dessa frågor. Speciellt utvecklar vi en ny djup Boltzmann maskin (DBM)-baserad 27 multimodal lärande modell för att lära sig den gemensamma densiteten modell från multimodal information. Den föreslagna DBM-baserade modellen kan härleda den saknade modalitetsinformationen från känd modalitetsinformation. Kombinationen av dessa två modeller, som båda är utbildade med en stor volym av verkliga medicinska bilddata, kommer att göra det möjligt för oss att söka de mest relevanta bilderna för en given fråga. Experimentella resultat med stor volym, verkliga medicinska bilder har visat att vår strategi är en lovande lösning för nästa generations indexering och hämtning av medicinska bilder.
I REF täcker författarna den senaste tekniken om multimodal medicinsk informationshämtning i tre perspektiv, varav ett är den senaste forskningen som gjorts i CBMIR.
Medical Image Retrieval: A Multimodal Approach
{'venue': None, 'journal': 'Cancer Informatics', 'mag_field_of_study': ['Computer Science', 'Medicine']}