Biomedicinska bilder och bildtexter är en av de viktigaste informationskällorna i webbaserade biomedicinska publikationer. De innehåller ofta de viktigaste resultaten som ska rapporteras, och ger rik information om huvudteman i publicerade artiklar. I datautvinnings- och informationssökningssamhället har det gjorts stora ansträngningar för att använda textutvinning och språkmodelleringsalgoritmer för att extrahera kunskap från textinnehållet i biomedicinska publikationer online, men problemet med kunskapsextraktion från biomedicinska bilder och bildtexter har ännu inte studerats till fullo. I detta dokument introduceras en hierarkisk probabilistisk ämnesmodell med bakgrundsdistribution (HPB) för att avslöja latenta semantiska ämnen från de samtidiga mönster av textord, visuella ord och biomedicinska begrepp. Med nedladdade biomedicinska siffror extraheras begränsade bildtexter med avseende på varje enskild bildpanel. Under indexeringsstadiet kompletteras bildtexternas "bag-of-words" med ett ontologibaserat konceptindexering för att lindra synonym- och polysemiproblemen. Som visuell motsvarighet till textord extraheras och indexeras de visuella orden från motsvarande bildpaneler. Modellen beräknas genom kollapsad Gibbs provtagningsalgoritm. Vi jämför prestandan hos vår modell med utbyggnaden av Correspondence LDA (Corr-LDA) modell under samma biomedicinska bildanmärkning scenario med korsvalidering. Experimentella resultat visar att vår modell exakt kan extrahera latenta mönster från komplicerade biomedical image-caption par och underlätta kunskapsorganisation och förståelse i online biomedicinska litteratur.
Den korrelerade LDA-modellen lär sig ämnen samtidigt från bilder och textord REF.
Probabilistic models for topic learning from images and captions in online biomedical literatures
{'venue': 'CIKM', 'journal': None, 'mag_field_of_study': ['Computer Science']}