Abstract-Content-baserad bildsökning (CBIR) är en värdefull datorseende teknik som i allt högre grad tillämpas i det medicinska samhället för diagnosstöd. Men traditionella CBIR-system levererar endast visuella utgångar, dvs. bilder som har ett liknande utseende som frågan, som inte direkt kan tolkas av läkarna. Vårt mål är att tillhandahålla ett system för endomikroskopi videohämtning som levererar både visuella och semantiska utgångar som överensstämmer med varandra. I en tidigare studie utvecklade vi en anpassad bag-of-visual-words metod för endomikroskopi hämtning, kallad "Dense-Sift", som beräknar en visuell signatur för varje video. I detta dokument presenterar vi ett nytt tillvägagångssätt för att komplettera visuell likhetslärande med semantisk kunskapsextrahering, inom in vivo-endomikroskopi. Vi utnyttjar först en semantisk grundsanning baserad på åtta binära koncept, för att omvandla dessa visuella signaturer till semantiska signaturer som reflekterar hur mycket närvaron av varje semantiskt koncept uttrycks av de visuella ord som beskriver videorna. Med hjälp av korsvalidering visar vi att vår intuitiva Fisher-baserade metod, när det gäller semantisk detektion, omvandlar visuella ordhistogram till semantiska skattningar som överträffar vektormaskinens (SVM) metoder med statistisk signifikans. I ett andra steg föreslår vi att man förbättrar hämtningsrelevansen genom att lära sig ett justerat likhetsavstånd från en uppfattad grundsanning. Som ett resultat av detta gör vår distansundervisningsmetod det möjligt att statistiskt förbättra korrelationen med den upplevda likheten. Vi visar också att i termer av uppfattad likhet är de semantiska signaturernas återkallningsprestanda nära den visuella signaturen och betydligt bättre än den hos flera toppmoderna CBIR-metoder. De semantiska signaturerna kan således kommunicera medicinsk kunskap på hög nivå samtidigt som de överensstämmer med de visuella signaturerna på låg nivå och är mycket kortare än de. I vårt resulterande hämtningssystem bestämmer vi oss för att använda visuella signaturer för uppfattad likhetsinlärning och hämtning, och semantiska signaturer för utmatning av ytterligare information, uttryckt i det endoskopistiska egna språket, vilket ger en relevant semantisk översättning av de visuella hämtningsresultaten. Index Termer-Bag-of-visual-words (BoW), innehållsbaserad bildsökning (CBIR), endomikroskopi, semantisk och visuell likhet, semantisk gap, likhetsinlärning.
När det gäller endomikroskop har en metod föreslagits i REF ) för att omvandla de visuella signaturerna på låg nivå av bilderna till semantiska signaturer.
Learning Semantic and Visual Similarity for Endomicroscopy Video Retrieval
{'venue': 'IEEE Transactions on Medical Imaging', 'journal': 'IEEE Transactions on Medical Imaging', 'mag_field_of_study': ['Computer Science', 'Medicine']}