Trots de senaste framstegen med att automatiskt beskriva bildinnehållet har deras tillämpningar i huvudsak begränsats till bildtextdatauppsättningar som innehåller naturliga bilder (t.ex. Flickr 30k, MSCOCO). I detta dokument presenterar vi en djupt lärande modell för att effektivt upptäcka en sjukdom från en bild och kommentera dess sammanhang (t.ex. plats, svårighetsgrad och de drabbade organen). Vi använder en allmänt tillgänglig radiologi datauppsättning av bröströntgen och deras rapporter, och använder dess bild annoteringar till min sjukdom namn för att träna konvolutionella neurala nätverk (CNN). Genom att göra det antar vi olika legaliseringstekniker för att kringgå de stora normala vs-sjukdomsfallen partiska. Återkommande neurala nätverk (RNN) tränas sedan för att beskriva sammanhangen för en upptäckt sjukdom, baserat på de djupa CNN-funktioner. Dessutom inför vi ett nytt tillvägagångssätt för att använda vikterna för det redan utbildade paret CNN/RNN på den domänspecifika bild-/textdatauppsättningen, för att härleda de gemensamma bild-/textkontextkontexterna för kompositbildmärkning. Signifikant förbättrade bildannoteringsresultat demonstreras med hjälp av den återkommande neurala kaskadmodellen genom att ta hänsyn till de gemensamma bild-/textkontextkontexterna.
Shin m.fl. föreslog en djupt lärande modell för att upptäcka sjukdom inom medicinska bilder REF.
Learning to Read Chest X-Rays: Recurrent Neural Cascade Model for Automated Image Annotation
{'venue': '2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}