Generera långa och sammanhängande rapporter för att beskriva medicinska bilder innebär utmaningar för att överbrygga visuella mönster med informativa mänskliga språkliga beskrivningar. Vi föreslår en ny Hybrid Retrieval-Generation Förstärkt Agent (HRGR-Agent) som förenar traditionella hämtningsbaserade metoder befolkade med mänsklig förkunskap, med moderna inlärningsbaserade metoder för att uppnå strukturerad, robust och mångsidig rapporteringsgenerering. HRGR-Agent använder sig av ett hierarkiskt beslutsförfarande. För varje mening väljer en policymodul för hämtning på hög nivå att antingen hämta en mall mening från en malldatabas utanför hyllan, eller åberopa en modul för generering på låg nivå för att generera en ny mening. HRGR-Agent uppdateras genom förstärkt inlärning, guidad av menings- och ordnivå belöningar. Experiment visar att vår strategi uppnår de senaste resultaten från två medicinska rapporter, vilket genererar välbalanserade strukturerade meningar med robust täckning av heterogent medicinskt rapportinnehåll. Dessutom uppnår vår modell den högsta detektionsprecisionen av medicinska abnormitetsterminologier och förbättrade mänskliga utvärderingsresultat.
För att förbättra strukturen och mångfalden har Ref förenat en traditionell hämtningsbaserad metod med modern inlärningsbaserad metod för att bilda en hybridagent.
Hybrid Retrieval-Generation Reinforced Agent for Medical Image Report Generation
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}