Sammanfattning Denna artikel ger en översikt över den första BIOASQ-utmaningen, en tävling om storskalig biomedicinsk semantisk indexering och frågesvar (QA), som ägde rum mellan mars och september 2013. BIOASQ bedömer systemens förmåga att semantiskt indexera ett mycket stort antal biomedicinska vetenskapliga artiklar och att returnera koncisa och begripliga svar på givna frågor om naturligt språk genom att kombinera information från biomedicinska artiklar och ontologier. Resultat: 2013 års BIOASQ-tävling bestod av två uppgifter, Uppgift 1a och Uppgift 1b. I Task 1a ombads deltagarna att automatiskt kommentera nya PUBMED-dokument med MESH-rubriker. Tolv lag deltog i Uppgift 1a, med totalt 46 system körs in, och en av de lag som konsekvent presterar bättre än MTI indexer som används av NLM för att föreslå MESH rubriker till curatorer. Uppgift 1b använde referensdatauppsättningar med 29 utvecklings- och 282 test engelska frågor, tillsammans med guldstandard (referens) svar, som utarbetats av ett team av biomedicinska experter från hela Europa och deltagarna var tvungna att automatiskt ta fram svar. Tre lag deltog i Uppgift 1b, med 11 systemkörningar. BIOASQ-infrastrukturen, inklusive referensdatauppsättningar, utvärderingsmekanismer och resultat från deltagarna och referensmetoder, är allmänt tillgänglig. Slutsatser: En allmänt tillgänglig utvärderingsinfrastruktur för biomedicinsk semantisk indexering och QA har utvecklats, som inkluderar referensdataset, och kan användas för att utvärdera system som: tilldela MESH-rubriker till publicerade artiklar eller till engelska frågor; hämta relevanta RDF-tripplar från ontologier, relevanta artiklar och snippets från PUBMED Central; producera "exakta" och punktstora "ideala" svar (sammanfattningar). Resultaten av de system som deltog i 2013 års BIOASQ-tävling är lovande. I Task 1a fungerade ett av systemen genomgående bättre från NLM:s MTI-indexer. I Uppgift 1b fick systemen höga poäng i den manuella utvärderingen av de "ideala" svaren; därför producerade de sammanfattningar av hög kvalitet som svar. Sammantaget hjälpte BIOASQ till att få en enhetlig bild av hur tekniker från textklassificering, semantisk indexering, dokument- och passagehämtning, frågesvar och textsammanfattning kan kombineras för att tillåta biomedicinska experter att få koncisa, användarvänliga svar på frågor som återspeglar deras verkliga informationsbehov.
BioASQ utmaningen har organiserat årliga utmaningar om biomedicinsk semantisk indexering och frågesvar sedan 2013 REF.
An overview of the BIOASQ large-scale biomedical semantic indexing and question answering competition