Abstrakt. I den här artikeln introducerar vi den semantiska kunskapen om medicinska bilder från deras diagnostiska rapporter för att ge en inspirerande nätverksutbildning och en tolkningsbar förutsägelsemekanism med vårt föreslagna nya multimodala neurala nätverk, nämligen TandemNet. Inuti TandemNet används en språkmodell för att representera rapporttext, som samarbetar med bildmodellen i ett tandemsystem. Vi föreslår en ny dubbel-attention modell som underlättar hög nivå interaktioner mellan visuell och semantisk information och effektivt destillerar användbara funktioner för förutsägelse. I teststadiet, TandemNet kan göra korrekta bildförutsägelser med en valfri rapport textinmatning. Den tolkar också sin förutsägelse genom att ge uppmärksamhet åt bild och text informativa inslag bitar, och ytterligare generera diagnostisk rapport stycken. Baserat på en patologisk blåscancerbild och deras diagnostiska rapporter (BCIDR) dataset, visar tillräckliga experiment att vår metod effektivt lär sig och integrerar kunskap från multimodaliteter och får betydligt bättre prestanda än att jämföra baslinjer.
Zhang m.fl. föreslog en modell med dubbla syften med hjälp av bilder och valfria texter för att göra korrekta förutsägelser REF.
TandemNet: Distilling Knowledge from Medical Images Using Diagnostic Reports as Optional Semantic References
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}