2007 tog IBM Research på sig den stora utmaningen att bygga ett datorsystem som kan prestera tillräckligt bra på öppendomän fråga svara på för att tävla med mästare i Jeopardy! Under 2011, den öppna-domänen fråga svarar systemet dubbade Watson slå de två högst rankade spelarna i en två-spelet Jeopardy! Matcha. Men i vilken utsträckning kan QA-tekniken bakom Watson, kallad DeepQA, som var stämd för att svara Jeopardy! frågor, lyckas på ett dramatiskt annorlunda och extremt specialiserat område som medicin? I detta dokument beskrivs de åtgärder som krävs för att anpassa och förbättra resultaten på såväl detta som andra områden. Dessutom, medan Jeopardy! tillåter bara - fråga i, enstaka svar ut och utan förklaring, vi utvecklar en vision för en evidensbaserad klinisk beslutsstödsystem, baserat på DeepQA-tekniken, som ger utforskande av ett brett spektrum av hypoteser och deras tillhörande bevis, samt avslöjar saknade information som kan användas i dialog med blandade initiativ. Det är Jeopardy! är en frågesport visar att pits tre tävlande mot varandra testa sin förmåga att förstå och svara på rika frågor naturligt språk mycket snabbt. Dessa frågor innehåller ofta komplicerade språk, tvetydigheter, ordlekar och andra ogenomskinliga referenser. För varje fråga tävlar de tävlande om första chansen att svara via en handhållen summer. För att lyckas på Jeopardy!, måste spelarna behålla enorma mängder information, måste ha starka språkkunskaper, måste kunna förstå exakt vad som efterfrågas, och måste exakt avgöra sannolikheten att de vet rätt svar. Förtroendet för svaret är kritiskt, eftersom den första spelaren att surra i får möjlighet att svara på frågan, men om spelaren svarar felaktigt, förlorar spelaren dollarvärdet i samband med ledtråden. Utmaningarna i Jeopardy! uppgiften är: 1) Frågor kommer från en bred domän: Jeopardy! ställer frågor om hundratusentals saker, med hjälp av rika och varierande naturliga språkuttryck. 2) Spelare måste svara på frågor med hög precision och med korrekt förtroende: I genomsnitt måste mästare spelare kunna korrekt svara på mer än 85% av de frågor de surrar in för och de måste vara tillräckligt säkra för att surra in för minst 70% av dem. 3) Svar måste vara mycket snabb: Vinnande spelare måste snabbt avgöra ett korrekt förtroende för ett korrekt svar och surra in tillräckligt snabbt för att slå sina konkurrenter konsekvent till surret. Under en fyraårsperiod utvecklade teamet på IBM Watson-systemet som tävlade på Jeopardy! och den underliggande DeepQA-frågan svarsteknik [15]. Watson spelade många spel av Jeopardy! mot hyllade Jeopardy! mästare och, i spel TV-sända i februari 2011, vann mot de största spelarna genom tiderna, Ken Jennings och Brad Rutter. Men, DeepQA har ansökan långt bortom Jeopardy!. Tvärtemot vissa populära missuppfattningar kartlägger DeepQA inte frågan till en databas med frågor och slår helt enkelt upp svaret. DeepQA är en programvaruarkitektur för att analysera naturligt språkinnehåll i både frågor och kunskapskällor. DeepQA upptäcker och utvärderar potentiella svar och samlar in och samlar in bevis för dessa svar i både ostrukturerade källor, såsom dokument i naturligt språk, och strukturerade källor, såsom relationsdatabaser och kunskapsbaser. Figur 1 visar en hög nivå av DeepQA-arkitektur [15]. DeepQA har en massivt parallell, komponentbaserad pipelinearkitektur [16], som använder en extensibel uppsättning strukturerade och ostrukturerade innehållskällor samt ett brett utbud av pluggbara sök- och poängkomponenter som gör det möjligt att integrera många olika analytiska tekniker. Maskininlärning används för att lära sig vikterna för att kombinera poäng från olika poängsättare. Varje svar är kopplat till de bevis som ligger till grund för det. DeepQA informeras genom omfattande forskning i fråga svarssystem, t.ex., [7, 23, 28]. Dessa system analyserar en inmatningsfråga och genererar och utvärderar kandidatsvar med hjälp av en mängd olika tekniker. DeepQA analyserar en inmatningsfråga för att avgöra exakt vad den ber om och genererar många möjliga kandidatsvar genom en bred sökning av stora volymer av innehåll. För var och en av dessa kandidater, bildas en hypotes baserad på att överväga kandidaten i samband med den ursprungliga frågan och ämnet. För varje hypotes, DeepQA ger upphov till en oberoende tråd som försöker bevisa det. DeepQA söker i sina innehållskällor efter bevis som stöder eller vederlägger varje hypotes. För varje bevis-hypotes par, DeepQA tillämpar hundratals algoritmer som dissekera och analysera bevis längs olika dimensioner av bevis såsom typ klassificering, tid, geografi, popularitet, passage stöd, källa tillförlitlighet, och semantisk relaterat. Denna analys ger upphov till hundratals drag. Dessa egenskaper kombineras sedan utifrån deras inlärda potential att förutsäga det rätta svaret. Slutresultatet av denna process är en rangordnad lista över sökande svar, var och en med en konfidens poäng som anger i vilken grad svaret tros vara korrekt, tillsammans med länkar tillbaka till bevisen. Figur 2 visar måtten på bevis för Jeopardy! ledtråd -Chile delar sin längsta landgräns med detta land. till varje dimension kombinerar de funktioner som produceras av många algoritmer. Varje algoritm använder olika resurser och algoritmiska tekniker, var och en med olika precisionsavräkningar. För att bilda en förbrukningsbar uppsättning bevis dimensioner, funktioner grupperas enligt taxonomi bevistyper (t.ex., plats och popularitet som visas i figur 2) vi definierade. Figur 2 visar en jämförande evidensprofil som belyser några av de dimensioner som fastställts för Watson. Evidensprofiler användes av utvecklare för felsökning, och vi föreställer oss att de kommer att vara användbara för slutanvändare i många applikationer för att förstå och utforska bevis i samband med ett kandidatsvar. DeepQA närmar sig Jeopardy! Watsons framgång tyder på en kraftfull ny arkitektur för resonemang om ostrukturerat innehåll. Traditionella expertsystem använder framåtgående resonemang som följer regler från data till slutsatser eller bakåt resonemang som följer regler från slutsatser till data. Att bygga dessa system handgjorda IF-THEN regler för varje bit av domän kunskap utvecklas och underhålls manuellt av skickliga ingenjörer eller domän experter. Ett exempel på en regel som tagits från Mycin-systemet är: IF: Organismens fläck är grampos och organismens morfologi är kokus och organismens tillväxtkonformation är kedjor, THEN: Det finns suggestiva bevis (.7) för att organismens identitet är streptococcus. Som ett resultat av detta är expertsystem dyra och svåra att utveckla och underhålla när ny kunskap upptäcks. Expertsystem är också spröda, eftersom den underliggande resonemang motor kräver en perfekt matchning mellan indata och befintliga regel former. Dessutom kan inte alla regelformer vara kända i förväg för alla de former som indata kan ta, vilket ytterligare bidrar till deras sprödhet. I motsats till traditionella Expert Systems, DeepQA utnyttjar naturligt språk bearbetning (NLP) och en mängd olika söktekniker för att analysera ostrukturerad information för att generera sannolika kandidat svar i hypotesgenerering (analog till framåt kedja). I evidensinsamling och poängsättning (analog till bakåt kedja), DeepQA använder också NLP och söka över ostrukturerad information för att hitta bevis för rankning och poäng svar baserat på naturligt språk innehåll. DeepQA:s direkta användning av lättillgängliga kunskaper i naturligt språk gör det mer flexibelt, underhållsbart och skalbart samt kostnadseffektivt att överväga stora mängder information och hålla sig aktuell med det senaste innehållet. Vad detta tillvägagångssätt saknar i handgjord precision med hjälp av särskilda regler, det ökar i bredd och flexibilitet. I en klinisk miljö, till exempel, kan det användas för att utveckla en diagnostiskt stöd verktyg som använder kontexten av en ingång fall-en rik uppsättning observationer om en patients medicinska tillstånd-och genererar en rankad lista av diagnoser (differentiell diagnos) med tillhörande förtroenden baserat på att söka och analysera bevis från stora volymer av innehåll. Läkare och andra vårdgivare kan utvärdera dessa diagnoser längs många olika dimensioner av bevis som DeepQA har extraherat från en patients elektroniska medicinska journal (EMR) och andra relaterade innehållskällor. För medicin, dimensionerna av bevis kan omfatta symtom, fynd, patienthistoria, familjehistoria, demografi, nuvarande läkemedel, och många andra. Varje diagnos i differentialdiagnosen inkluderar länkar tillbaka till de ursprungliga bevis som används av DeepQA för att producera sina konfidenspoäng och stöder antagandet av evidensbaserad medicin (EBM) -som syftar till att tillämpa de bästa tillgängliga bevisen från den vetenskapliga metoden till kliniskt beslutsfattande. och [14] När svaren från DeepQA är diagnoser av de underliggande orsakerna till problem, som i fallet med medicinsk diagnos, då DeepQA arkitektur kan anses genomföra en form av abductive resonemang [25]. Som ett enkelt exempel på bortförande, anta att någon bit av strukturerad eller ostrukturerad kunskap i systemet representerar att patienter med sjukdom D har symtom S. Då, om indata till systemet är att patienten har symtom S, systemet kommer att generera hypotesen att patienten har sjukdom D. Systemet kommer då att leta efter bevis för att stödja eller vederlägga denna hypotes. För ett mer komplext exempel på bortförande, anser att systemet har många kunskaper om sjukdomar och deras symptom. Sedan, med tanke på att patienten har några symtom, systemets uppgift är att hitta den bästa förklaringen till dessa symtom när det gäller en eller flera sjukdomar. DeepQA arkitektur gör detta genom att generera hypoteser och sedan, parallellt, utvärdera hur mycket bevis stöder varje hypotes. I själva verket, DeepQA är en massiv bortförande maskin. Användningen av bortförande för medicinsk diagnos har en lång historia inom området artificiell intelligens. Pople föreslog att man skulle tillämpa bortförande på medicinsk diagnos och tillhandahöll algoritmer för beräkning av förklaringar av data (som symtom) i samband med en insamling av axiom (medicinsk kunskap) [27]. Goebel, Furukawa, och Poole presenterade algoritmer för att generera diagnoser givet medicinska axiom av formsjukdomen symptom [19]. De föreslog vidare att man skulle använda probabilistisk logik för att föredra en diagnos framför en annan. De diskuterar addition av en sannolikhet för sjukdom och symptomaxiom (känslighet). Konsol, Portinale och Dupré presenterade en omfattande figur 3 visar en föreslagen uppsättning kliniska dimensioner av bevis för en patient från Connecticut med ett huvudklagomål av ögonsmärta och inflammation, dimsyn, huvudvärk, feber och cirkulära utslag. Varje dimension av bevis-findings, demografi, symptom, och familj historia-aggregat enskilda bitar av bevis. En vårdgivare kan observera bidraget från varje dimension av bevis, samt borra ner i en viss dimension för att se de bidragande bitarna av bevis och härkomst information. Att få tillgång till denna information skulle bidra till att förfina deras tänkande på ett evidensbaserat sätt. Förmågan att utforska alternativa hypoteser (diagnoser), tillsammans med de förtroendevärden och tillhörande stödjande bevis är en viktig skillnad i DeepQA jämfört med tidigare system. Denna allmänna syn på DeepQA, som en arkitektur för att bygga lägre kostnader, mer flexibel expert-systemteknik över lättillgänglig kunskap, ledde oss att överväga tillämpningar bortom Jeopardy! och särskilt till hälso- och sjukvård. En specialutgåva av IBM Journal of Research and Development håller för närvarande på att förberedas och ägnas åt att ge en detaljerad teknisk beskrivning av Watson-systemet och den underliggande DeepQA-arkitekturen [10]. I detta dokument motiverar vi tillämpningen av DeepQA på hälso- och sjukvård, särskilt i kliniskt beslutsstöd. Vi diskuterar de första stegen vi tog för att anpassa DeepQA till den medicinska domänen och hur evidensprofiler ger en kraftfull grund för kommunikation med vårdgivare. I följande avsnitt motiverar vi vårt arbete genom att diskutera de problem som kliniker ställs inför i diagnos, och granska tidigare och nuvarande kliniska beslutsstödsystem tillsammans med deras styrkor och svagheter. Diskussionen följs av vår vision om hur ett system baserat på DeepQA kan bli ett nytt evidensbaserat beslutsstödverktyg och slutligen rapporterar vi resultat om de första steg vi har tagit mot detta mål. Förbättrad diagnostisk noggrannhet och snabbhet kan direkt förbättra kvaliteten på vården hos patienter och minska de totala kostnader som hälso- och sjukvårdssystemen ådrar sig i denna process. Schiff [32] rapporterade diagnosfel som var långt fler än andra medicinska fel med två till fyra gånger. Elstein [12] uppskattade en diagnostisk felfrekvens på cirka 15 %, vilket är i linje med resultaten i ett antal obduktionsstudier [21, 33]. Singh och Graber [36] hävdar att -diagnostiska fel är den enskilt största bidragsgivaren till ambulatoriska felsättningar påståenden (40% i vissa studier) och kostar cirka $ 300 000 per påstående i genomsnitt. en resultat publiceras från dessa papper och andra belyser frekvensen och konsekvensen av diagnostiska fel i vårdsystem idag och motiverar behovet av metoder som kan minska dem. En färsk studie av Graber [20] granskar litteratur relaterad till orsakerna till diagnostiska fel och diskuterar resultat som erhållits i en studie av 100-terror fall. och de rapporterar att 65% av dessa fall hade systemrelaterade orsaker och 75% hade kognitiva orsaker. Systemfel var - oftast relaterade till policys och procedurer, ineffektiva processer, och svårigheter med lagarbete och kommunikation, särskilt kommunikation av testresultat. Graber [20] drog slutsatsen att de kognitiva fel -överväldigande reflekterar olämplig kognitiv bearbetning och / eller dåliga färdigheter i att övervaka ens egna kognitiva processer (metakognition) och föreslog 1) -kompilera en fullständig differentialdiagnos för att bekämpa tendensen till för tidig stängning, 2) med hjälp av -kristall boll erfarenhet: Klinikern skulle uppmanas att anta att hans eller hennes fungerande diagnos är felaktig, och frågade, Vilka alternativ bör övervägas? och 3) förstärkning -en klinikians inneboende metakognitiva färdigheter genom att använda expertsystem. på senare tid, Singh och Graber [36] noterade också att -kliniker fortsätter att missa diagnostisk information... en sannolik bidragande faktor är den överväldigande volymen av varningar, påminnelser, och annan diagnostisk information i Electronic Health Record (EHR). Bättre tekniker för att sammanfatta och presentera data behövs för att göra det möjligt för kliniker att hitta den ordspråkliga "needle i höstacken" mitt i omfattande data. och för att förvärra dessa problem, publiceras medicinsk information växer och förändras extremt snabbt, vilket gör informationen svårt för hälso-och sjukvårdspersonal att läsa, bearbeta och komma ihåg. Många akuta medicinska eller kritiska situationer kräver mycket snabb bedömning och korrekta och snabba åtgärder. Dessa utmaningar kräver mentalt väga många variabler och utforska alternativ snabbt, vilket bidrar till kognitiv överbelastning inneboende i många aspekter av denna praxis. Vår vision för DeepQA är motiverad av de problem och förslag till lösning som beskrivs ovan. Vår strategi är att tillhandahålla ett beslutsstöd verktyg som hjälper läkaren att övervinna de kognitiva utmaningar som beskrivs ovan genom att tillhandahålla 1) automatisk extraktion och presentation av relevant information från EMR, 2) en omfattande differentialdiagnos med tillhörande förtroenden och evidensprofiler, och verktyg för att undersöka stödjande bevis, och 3) en blandad initiativ dialog för att föreslå undersökning av saknade information och informera beslut baserade på bevis som samlats in från stora mängder strukturerad och ostrukturerad information såsom medicinska texter, uppslagsverk, tidskrifter, och riktlinjer. Vi går igenom några tidigare och nuvarande medicinska diagnossystem nedan som en bakgrund för en diskussion om systemrelaterade frågor och en jämförelse med vår strategi. Diagnossystem kan klassificeras i system som använder strukturerad kunskap, system som använder ostrukturerad kunskap och system som använder kliniska beslutsformler, regler, träd eller algoritmer. De tidigaste diagnossystemen använde strukturerad kunskap eller klassiska, manuellt konstruerade kunskapsbaser. Internist-I-systemet som utvecklades på 1970-talet använde sjukdomssökande relationer och sjukdomssjukdomar relationer, med tillhörande nummer såsom känslighet-fraktionen av patienter med en sjukdom som har ett fynd [24]. MYCIN-systemet för diagnostisering av infektionssjukdomar, som också utvecklades på 1970-talet, använde sig av strukturerad kunskap i form av produktionsregler som säger att om vissa fakta är sanna, då kan man dra vissa andra fakta med en given säkerhetsfaktor [4]. DXplain, som utvecklades från och med 1980-talet, använde sig av strukturerad kunskap liknande den för Internist-I, men lade till en hierarkisk lexikon av resultat [2]. Iliad-systemet utvecklades på 1990-talet och lade till ett mer sofistikerat probabilistiskt resonemang. Varje sjukdom har en associerad a priori sannolikhet för sjukdomen (i den population för vilken Iliad utformades) och lista över fynd tillsammans med fraktionen av patienter med sjukdomen som har upptäckten (känslighet) och fraktionen av patienter utan sjukdomen som har upptäckten (1 - specificitet) [40]. År 2000 började diagnossystem med ostrukturerad kunskap att dyka upp. Dessa system använder också viss strukturering av kunskap. Till exempel, enheter som fynd och störningar kan märkas i dokument för att underlätta hämtning. ISABEL använder Autonomy information hämtning programvara och en databas med medicinska läroböcker för att hämta lämpliga diagnoser som indata resultat [31]. Autonomy Auminence använder Autonomy tekniken för att hämta diagnoser givna resultat och organiserar diagnoser av kroppssystem [1]. Först tillåter CONSULT en att söka en stor samling av medicinska böcker, tidskrifter och riktlinjer av huvudklagomål och åldersgrupp för att komma fram till möjliga diagnoser [17]. PEPID DDX är en diagnosgenerator baserad på PEPID:s oberoende kliniska innehåll [26]. Kliniska beslutsregler har tagits fram för ett antal sjukdomar, och datasystem har utvecklats för att hjälpa läkare och patienter att tillämpa dessa regler. CaseWalker-systemet använder ett frågeformulär med fyra punkter för att diagnostisera egentlig depression [5]. PKC Advisor ger vägledning om 98 patientproblem såsom buksmärta och kräkningar [29]. De nuvarande diagnossystemens styrkor är att de kan förbättra klinikernas diagnostiska hypoteser [18] och kan hjälpa kliniker att undvika att missa viktiga diagnoser [30]. Men, aktuella diagnossystem används inte ofta [3] av följande skäl: 1) De är inte integrerade i den dagliga verksamheten av hälsoorganisationer [8, 34]. En patient kan ses av många olika vårdpersonal, och patientdata kan spridas över många olika datorsystem i både strukturerad och ostrukturerad form. 2) De är svåra att interagera med [3, 34]. Inträde av patientdata är svårt, listan över diagnostiska förslag kan vara för lång, och resonemanget bakom diagnostiska förslag är inte alltid transparent. 3) De är inte tillräckligt fokuserade på nästa åtgärder; de hjälper inte klinikern räkna ut vad man ska göra för att hjälpa patienten [34]. De kan inte be utövaren om saknad information som skulle öka förtroendet för en diagnos. 4) De är inte alltid baserade på de senaste, högkvalitativa medicinska bevis och är svåra att hålla uppdaterad [35]. Vårt mål med DeepQA är att ta itu med några av svagheterna i tidigare strategier och att hjälpa vårdpersonalen att övervinna de kognitiva utmaningar de står inför i differentialdiagnos, behandling och andra aspekter av patientvård som beskrivs ovan. En viktig skillnad som kännetecknar DeepQA är dess styrka i att använda sök- och NLP-teknik för att bearbeta kunskap som finns i naturligt språkinnehåll. Dessa tekniker kan användas för att ta fram relevant information från EMR för att ge sammanhang för att lösa enskilda fall. Samma tekniker som används av DeepQA för Jeopardy! kan anpassas för att generera diagnoser och behandlingsalternativ och sedan samla in bevis från enorma volymer av information för att stödja eller vederlägga dessa diagnoser och behandlingar. Förmågan att effektivt bearbeta ostrukturerat innehåll som finns i medicinska resurser och EMRs gör det möjligt för utövare att arbeta med de mest aktuella kunskaperna som finns tillgängliga och minskar bördan i samband med läsning och syntetisering av stora mängder data som lagras i ett patientregister. Det bidrar också till att säkerställa att de bevis som tillhandahålls till stöd för en uppsättning möjliga lösningar är läsbara och förbrukningsbara av mänskliga användare eftersom innehållet vanligtvis skapas av andra experter på naturligt språk snarare än av kunskapsingenjörer i formella regler. Vi började föreställa oss hur DeepQA kan användas i samverkan med vårdpersonal. Läkare vi har intervjuat alla betonar behovet av enkel användning i medicinska beslutsstödsystem, särskilt de som används under ett patientmöte. Systeminmatningen måste vara minimal och effektiv, och den information som tillhandahålls måste vara diskret och relevant. Vårt mål är att minimera den insats som krävs genom att automatisera utvinningen av EMR-information som är relevant för den aktuella situationen och ge information med en blick när nya förslag erhålls. Stående frågor för diagnos eller behandling kommer att köras som en bakgrundsprocess, ytterligare minimera indata som krävs. En historia av utövarens interaktion med systemet i ett visst fall kommer att ge ett sammanhang för framtida interaktioner. Denna interaktion kommer att stödja system-genererade förslag samt ge utövare möjlighet att ställa riktade naturliga språk medicinska frågor för att få ytterligare information de söker och kommer att hjälpa dem att övervinna många av de kognitiva utmaningar som diskuteras ovan, såsom för tidig stängning och felaktig kontextgenerering. Figur 4 visar en design för ett användargränssnitt för kliniskt beslutsstöd. Den vänstra sidan innehåller information (märkta faktorer) om patientens huvudklagomål, som automatiskt skulle extraheras från en EMR. Varje faktor visas under sin respektive dimension av bevis, dvs. symtom, fynd, familjehistoria och demografi. Den övre vänstra sidan av figur 4 visar aktuell differentialdiagnos (endast den tredje i en lång lista visas i detta exempel) och tillhörande konfidensvärden för varje kandidat. En utövare kan välja en viss kandidat diagnos-i detta fall Uveitis väljs-och utforska bidraget från varje dimension av bevis. En särskild dimension (t.ex. Symptom) väljs och avslöjar de bidragande bevisen samt var de kom ifrån i fliken Källor. Den fullständiga texten är tillgänglig via länkar. Dessutom kan fliken Faktorer längst ner till höger väljas för att undersöka faktorer som är närvarande samt saknas i det aktuella fallet som illustreras i figur 5. Förmågan att utforska alternativa hypoteser (diagnoser), tillsammans med förtroendevärden och tillhörande bevis är en annan viktig differentierande egenskap hos DeepQA. Denna förmåga att samla bevis kring en hypotes kan också användas för att upptäcka information som saknas i det nuvarande kliniska sammanhanget och kan driva mixed-initiativ dialog som hjälper kliniker att samla in ytterligare information och förfina sitt tänkande på ett evidensbaserat sätt. Vi börjar utforska denna typ av information och interaktion, och vi tror att det kommer att vara en viktig del av vårt kliniska beslutsstödsystem. Flera utmaningar måste åtgärdas för att tillämpa DeepQA på klinisk beslutsstöd. Vi delar upp dem i utmaningen att inbädda DeepQA-kapaciteten i ett kliniskt beslutsstödsystem och utmaningen att anpassa de interna komponenterna i DeepQA till den medicinska domänen. Beslutsstödsystemet ska kunna ta fram relevant klinisk information från EMR-system. Vi förväntar oss att vissa delar av den kliniska informationen såsom antagningsanteckningar, konsultationer, kliniska bedömningar och urladdningssammanfattningar kommer att fortsätta att uttryckas och kommuniceras på bästa sätt på naturligt språk. Vår utmaning är att tillämpa naturliga språk och resonemang tekniker för att extrahera, relatera, och strukturera denna information längs en tidslinje av medicinska möten. Frågor inom det medicinska området för med sig ett bredare sammanhang som beskrivs i patientens medicinska historia. Patienthistoriken omfattar 1) en beskrivning av huvudklagomålet, 2) en historia av den nuvarande sjukdomen, 3) en genomgång av de större kroppssystemen och 4) social- och familjehistoria [13]. Med hjälp av namngivna entitets- och relationsanmälare måste vi ta fram viktiga kliniska koncept som utgör ramen för beslutsstöd. Dessa inkluderar tecken, symtom, fynd, aktiva och tidigare sjukdomar, aktuella mediciner, allergier, demografi, familjehistoria och många andra. Koncepten måste vara tillräckligt breda för att fånga klinikens beskrivande avsikt. Till exempel, i stället för att bara extrahera - hjärta mumlande som ett fynd, bör vi också extrahera de relaterade modifiers också: -hjärtat mumlar är hårt, systoliskt, diamant-formad och ökar intensiteten med Valsalva.  för relationer, till exempel, som tyder på att en viss familjemedlem hade en viss sjukdom, eller att ett symptom nämns i negation, måste fångas exakt från språket parse resultat. Laboratorietestresultaten måste tolkas och utvärderas med avseende på klinisk signifikans. Utvinningen av denna information från patientens EMR ger ett sammanhang som är nödvändigt för hypotesgenerering och utvärdering utförd av DeepQA. Det finns också betydande utmaningar när det gäller att utveckla det sätt på vilket DeepQA:s resultat presenteras för hälso- och sjukvårdspersonalen. Ett kliniskt beslutsstödsystem måste hjälpa en utövare att övervinna kognitiva fel som diskuterats ovan genom att förklara hur en viss hypotes genererades och vilka faktorer som beaktades i dess utvärdering. Som beskrivs i vår strategi måste vi kunna bryta ner förtroendet för en hypotes i dess ingående dimensioner av bevis och jämföra dem med flera konkurrerande hypoteser så att utövare kan komma fram till sina egna slutsatser. En användbar förmåga att förbättra kvaliteten på beslutsfattandet är att identifiera den saknade informationen om patienten som försämrar förtroendet för en hypotes, som helhet eller längs en specifik dimension. Denna saknade information erbjuder en uppsättning frågor tillbaka till hälso-och sjukvårdspersonal att utforska och svara på. Betydande möjligheter till forskning kvarstår när det gäller att utvärdera den potentiella informativheten hos sådan information som saknas från de stora mängder information som inte registreras i en patients EMR. Vid jämförelse mellan konkurrerande hypoteser kan den saknade informationen också utvärderas och rangordnas efter dess diskriminerande karaktär bland dessa hypoteser. Denna återkoppling skulle kunna inriktas på ytterligare insamling av data, t.ex. diagnostiska tester, till dem som är mer benägna att bekräfta eller avvisa hypoteser och skärpa differentialdiagnosen i processen. Betydande forskningsområden finns kvar inom DeepQA:s egen förmåga att bearbeta naturligt språk. Vi börjar ta itu med dessa utmaningar, från dem inom DeepQA:s hypotesgenerering och verifieringskomponenter. Följande avsnitt beskriver våra insatser hittills och deras inverkan på medicinska frågor svarar på prestanda.
REF En jämförelse av det senaste arbetet i biomedicinska frågesvarssystem visas i tabell 1 och kan sammanfattas som: 1) QA-system använder frågeklassificering eller LAT-förutsägelse, och de flesta system använder fördefinierade regler för att fastställa en enda LAT av en biomedicinsk fråga.
Watson: Beyond Jeopardy!
{'venue': 'Artif. Intell.', 'journal': 'Artif. Intell.', 'mag_field_of_study': ['Computer Science', 'Mathematics']}