Den ursprungliga motivationen för att använda frågeserier i TREC 2004-frågan svarsspår var önskan att modellera aspekter av dialog behandling i en utvärdering uppgift som inkluderade olika frågetyper. Den struktur som infördes genom serien visade sig också ha en viktig ytterligare fördel: serien ligger på en lämplig nivå av granularitet för att samla poäng för en effektiv utvärdering. Serien är tillräckligt liten för att vara meningsfull på uppgiftsnivå eftersom den representerar en enda användarinteraktion, men den är tillräckligt stor för att undvika de mycket skev poängfördelningar som visas av enstaka frågor. En analys av tillförlitligheten i utvärderingen per serie visar att utvärderingen är stabil för skillnader i poäng i spåret. Utvecklingen av teknik för att besvara frågor under de senaste åren har drivits av uppgifter som definierats i gemenskapsomfattande utvärderingar som TREC, NTCIR och CLEF. Den TREC-fråga svar (QA) spår började 1999, med de första flera utgåvor av banan fokuserade på faktaoida frågor. En faktafråga är en faktabaserad, kort svarsfråga som Hur många kalorier finns det i en Big Mac?. Banan har utvecklats genom att öka typen och svårigheten av frågor som ingår i testsetet. Uppgiften i TREC 2003 QA spår var en kombinerad uppgift som innehöll lista och definition frågor utöver faktaoida frågor (Voorhees, 2004 Liksom NTCIR4 QACIAD utmaning (Kato et al., 2004), TREC 2004 QA spår grupperade frågor i serie, med hjälp av serien som abstraktioner av informationssökande dialoger. Förutom att modellera en verklig användaruppgift, serien är ett steg mot att införliva kontextbearbetning i QA utvärdering eftersom tidigare frågor i en serie ger ett visst sammanhang för den aktuella frågan. När det gäller TREC-serien innehöll varje serie fakta- och listfrågor och hade målet för en definition i samband med den. Varje fråga i en serie bad om lite information om målet. Dessutom var den sista frågan i varje serie en explicit "andra" fråga, som skulle tolkas som "Berätta andra intressanta saker om detta mål jag inte vet tillräckligt för att ställa direkt". Denna sista fråga motsvarade i stort sett definitionsfrågorna i TREC-uppgiften 2003. I detta dokument undersöks effektiviteten i den seriebaserade kvalitetssäkringsutvärderingen, och det visar att aggregering av poäng över enskilda serier ger en mer meningsfull utvärdering än genomsnittet av individuella ques-299tion poäng. I nästa avsnitt beskrivs de frågeserier som låg till grund för utvärderingen av TREC 2004. Eftersom TREC använder olika utvärderingsprotokoll för olika frågetyper beskriver följande avsnitt hur enskilda frågetyper utvärderades. I avsnitt 3 jämförs de poäng som erhållits genom att samla enskilda frågepoäng per frågetyp eller serie, och det visas att användningen av serier leder till en tillförlitlig bedömning vid skillnader i poäng som observeras i praktiken. En frågeserie som användes i TREC 2004 QA-spåret bestod av flera faktafrågor, noll till två listfrågor och exakt en annan fråga. Associerade med varje serie var ett definitionsmål. Serien en fråga tillhörde, ordningsföljden på frågan i serien, och typen av varje fråga (factoid, lista, eller Annat) var alla uttryckligen kodade i XML-format som används för att beskriva testuppsättningen. Exempelserie (minus XML-taggar) visas i figur 1. Ett mål var en person, en organisation, eller något som var en rimlig match för scenariot antas för uppgiften: att frågeställaren var en "genomsnittlig" vuxen läsare av amerikanska tidningar som letade efter mer information om en term som möttes när du läste tidningen. TREC 2004 testsetet innehåller 65 serier. Av de 65 målen är 23 personer, 25 är ORGANISATIONER och 17 är saker. Serien innehåller totalt 230 factoida frågor, 56 listfrågor och 65 (en per mål) Andra frågor. Varje serie innehåller minst fyra frågor, räknat den andra frågan, och de flesta serier innehåller fem eller sex frågor. Det maximala antalet frågor i en serie är tio. Frågeserierna var också den grundläggande struktur som användes i NTCIR4:s utmaning inom ramen för QACIAD (Fråga svarsutmaning för dialog om informationstillgång). Det finns dock vissa viktiga skillnader mellan QACIAD- och TREC-serierna. QACIAD-serien modellerar ett mer naturligt flöde av frågor i en informationssökande dialog. Med tanke på andra utvärderingskrav (de flesta frågor måste ha ett svar i källdokumenten), bör svar på tidigare frågor inte ges i senare frågor, etc.), serien i TREC testuppsättningen är kraftigt redigerade versioner av den serie som samlats in från de ursprungliga informationssökande. Den resulterande redigerade serien visas som en styltad konversationsstil när den ses från perspektivet av sann dialog, och serien återspeglar inte hela den mängd information som begärs i den ursprungliga serien. (TREC kräver t.ex. svar på frågor på listor för att vara konkreta enheter som städer eller boktitlar, medan de som söker information ofta begär mer information, t.ex. listor över beskrivande egenskaper.) Den QACIAD utmaningen innehöll två typer av serier, samla serie och bläddrar serie. I en samlingsserie är alla frågor relaterade till ett enda mål (som inte uttryckligen angavs i QACIAD), medan frågor i en webbserie kan hänvisa till icke-relaterade mål. TREC-serien samlar alla typserier med det angivna målet. Slutligen består QACIAD-serien endast av listfrågor, eftersom factoida frågor behandlas som listfrågor med ett enda svar. System som deltog i TREC-utvärderingen krävdes för att behandla serier oberoende av varandra och för att behandla en enskild serie i fråga. Det vill säga, system tilläts använda frågor och svar från tidigare frågor i en serie för att besvara senare frågor i samma serie, men kunde inte "titta framåt" och använda senare frågor för att svara på tidigare frågor. Serien var den enhet som användes för att strukturera testuppsättningen, men det fanns inget krav på system att bearbeta en serie som enhet. Vissa system bifogade målet till var och en av frågorna i sin serie och sedan behandlade alla resulterande frågesträngar självständigt som i tidigare TREC-utvärderingar. Utvärdering per serie gäller fortfarande eftersom den uppgift som ska utvärderas definieras i serien och är oberoende av hur systemen väljer att behandla frågorna. Sextiotre körningar från 28 deltagare lämnades in till kvalitetssäkringsspåret TREC 2004. Utvärderingsprotokollet för enskilda frågor beror på typen av fråga. I detta avsnitt sammanfattas protokollen för de enskilda frågetyperna och för en serie som helhet.  Systemsvaret för en factoid fråga är antingen exakt ett [doc-id, svar-sträng] par eller den bokstavliga strängen 'NIL'. NIL returneras av ett system när den anser att det inte finns något svar på frågan i dokumentsamlingen. Annars, svar-sträng är en sträng som innehåller just ett svar på frågan, och doc-id är id av ett dokument i samlingen som stöder svar-sträng som svar. Varje svar tilldelades exakt en av följande fyra domar: inkorrekt: svarssträngen innehåller inte ett rätt svar eller svaret är inte responsiv; stöds inte: svarssträngen innehåller ett rätt svar, men dokumentet som returneras stöder inte det svaret; inte exakt: svarssträngen innehåller ett rätt svar och dokumentet stöder det svaret, men strängen innehåller mer än bara svaret eller saknas bitar av svaret; korrekt: svarssträngen består av exakt rätt svar och det svaret stöds av dokumentet som returneras. För att vara lyhörd, krävs en svar sträng för att innehålla lämpliga enheter och för att hänvisa till rätt "berömda" enhet (t.ex., Taj Mahal kasinot är inte lyhörd när frågan om "Taj Mahal"). NIL svar är korrekta endast om det inte finns något känt svar på frågan i samlingen och är felaktiga annars. NIL är korrekt för 22 av de 230 factoida frågorna i testuppsättningen En individuell factoid fråga har en binär poäng, 1 om svaret bedöms korrekt och 0 annars. Poängen för en uppsättning faktaoida frågor är exakthet, den del av frågor i uppsättningen bedöms korrekt. En lista fråga kan ses som en shorthand för att ställa samma faktaoida fråga flera gånger. Den uppsättning av alla korrekta, distinkta svar i dokumentsamlingen som uppfyller den factoida frågan är rätt svar för en lista fråga. Ett system svar för en lista fråga är en oordnad uppsättning av [doc-id, svar-sträng] par så att varje svar-sträng betraktas som en instans av den begärda typen. Domar av felaktiga, utan stöd, inte exakt, och korrekta görs för enskilda svar par som i faktaoid bedömning. Utvärderaren får en run hela listan i taget, och samtidigt döma för korrekthet markerar också en uppsättning svar som distinkt. Utvärderaren väljer en godtycklig medlem av motsvarande svar som ska markeras tydligt, 301 och resten är inte markerade som distinkt. Endast korrekta svar kan markeras som distinkta. Det slutliga korrekta svaret på en listasfråga sammanställs från föreningen av de korrekta svaren över alla körningar plus de fall som utvärderaren fann under frågeutvecklingen. För de 55 listasfrågor som används i utvärderingen (en listas fråga ströks eftersom utvärderaren beslutade att det inte fanns några korrekta svar vid bedömningen), är det genomsnittliga antalet svar per fråga 8,8, med 2 som minsta antal svar och 41 som högsta antal svar. Ett systems svar på en listfråga gjordes med hjälp av instansprecision (IP) och instansåterkallelse (IR) baserat på listan över kända fall. Låta S vara antalet kända instanser, D vara antalet korrekta, skilda svar returneras av systemet, och N vara det totala antalet svar som returneras av systemet. Därefter IP = D/N och IR = D/S. Precision och återkallande kombinerades sedan med hjälp av F-måttet med samma vikt som ges till återkallande och precision: Poängen för en uppsättning listfrågor är medelvärdet av de enskilda frågornas F-poäng. De övriga frågorna bedömdes med samma metod som frågorna om definitionen av TREC 2003 (Voorhees, 2003). Ett systems svar på en annan fråga är en oordnad uppsättning av [doc-id, svar-sträng] par som för lista frågor. Varje sträng antas vara en aspekt i definitionen av seriens mål som ännu inte hade täckts av tidigare frågor i serien. Kravet på att inte upprepa information som redan omfattas av tidigare frågor i serien gjorde det lite svårare att besvara andra frågor än att besvara TREC 2003 definitionsfrågor. Att bedöma kvaliteten på systemens svar görs i två steg. I det första steget presenteras alla svarssträngar från alla systemsvar för bedömaren i en enda lista. Med hjälp av dessa svar och de sökningar som gjorts under frågeutvecklingen, skapar bedömaren en lista över information nuggets om målet. En information nugget är en atomär bit information om målet som är intressant (enligt utvärderarens åsikt) och är inte en del av en tidigare fråga i serien eller ett svar på en tidigare fråga i serien. En information nugget är atomär om bedömaren kan fatta ett binärt beslut om huruvida nugget visas i ett svar. När nuggetlistan är skapad för ett mål, utvärderaren markerar några nuggets som vital, vilket innebär att denna information måste returneras för att ett svar ska vara bra. Icke-vital nuggets agerar som inte bryr villkor på så sätt att bedömaren anser informationen i nugget vara intressant nog att returnera informationen är acceptabelt i, men inte nödvändigt för, ett bra svar. I det andra steget av att bedöma svaren går en bedömare igenom varje systems svar i tur och ordning och markerar vilka nuggets som visas i svaret. Ett svar innehåller en nugget om det finns en begreppsmässig matchning mellan svaret och nugget, dvs. matchen är oberoende av den specifika formulering som används i antingen nugget eller svaret. En nuggetmatch markeras högst en gång per svar-om svaret innehåller mer än en match för en nugget, en godtycklig match är markerad och resten lämnas omärkt. Ett enda [doc-id, svarssträng] par i ett systemsvar kan matcha 0, 1 eller flera nuggets. Med tanke på nugget-listan och den uppsättning nuggets som matchas i ett systems svar, är nugget-återkallelsen av ett svar förhållandet mellan antalet matchade nuggets och det totala antalet vitala nuggets i listan. Nugget precision är mycket svårare att beräkna eftersom det inte finns något effektivt sätt att räkna upp alla begrepp i ett svar. Istället används ett mått baserat på längd (i icke-vita mellanslagstecken) som en approximation till nuggetprecision. Det längdbaserade måttet börjar med ett initialt avdrag på 100 tecken för varje (vital eller icke-vital) nugget som matchas. Om det totala systemsvaret är mindre än detta antal tecken är mätvärdet 1,0. Annars minskar måttets värde när längden ökar med hjälp av funktionen 1 − längd-ersättningslängd. Slutresultatet för en annan fråga beräknas som F-åtgärden med nugget-återkallelse tre gånger så viktig som nuggetprecision: Observera att den andra frågan för serie S7 av misstag lämnades obedömd, så serien togs bort från TREC 2004-utvärderingen. Detta innebär att slutpoäng för körningar beräknades över 64 snarare än 65 frågeserier. I TREC-utvärderingen 2003 beräknades slutresultatet för en körning som ett vägt genomsnitt av medelpoängen för olika frågetyper: FinalScore =.5FactoidAccuracy +.25ListAveF +.25DefinitionAveF. Eftersom var och en av komponenterna poäng varierar mellan 0 och 1, är den slutliga poängen också i det intervallet. Vikterna för de olika komponenterna återspeglar önskan att betona faktaoida poäng, eftersom factoid teknik är den mest mogna, samtidigt som andra komponenter att påverka den slutliga poängen. De specifika vikter som används motsvarar detta allmänna mål, men är i övrigt godtyckliga. Inga experiment har gjorts för att undersöka effekten av olika vikter på stabiliteten i slutpoängen, men små störningar i vikterna bör ha liten effekt på resultaten. En enskild frågeserie innehåller också en blandning av olika frågetyper, så det viktade genomsnittet kan beräknas för en enskild serie snarare än testuppsättningen som helhet. Medeltalet för perseriepoängen används sedan som slutpoäng för en körning. Vi använder samma viktade medelvärde som ovan för att beräkna poängen för en enskild serie som innehåller alla tre frågetyper, med endast poäng för frågor som hör till den serien i beräkningen och med hjälp av den andra frågans poäng i stället för genomsnittet av definition ifrågasätter poäng. För de serier som inte innehöll några listfrågor beräknades poängen som.67FactoidAccuracy +.33OtherF. Figur 2 visar den genomsnittliga poäng per serie för den bästa körningen för var och en av de 10 bästa grupperna som deltog i TREC 2004.
Det kan också delvis återspegla avsikten med det nuvarande TREC QA Track att den frågeserie som infördes i TREC QA 2004 REF simulerar en interaktion med en människa och därmed förväntas komma fram en åt gången.
Using Question Series To Evaluate Question Answering System Effectiveness
{'venue': 'Human Language Technology Conference And Empirical Methods In Natural Language Processing', 'journal': None, 'mag_field_of_study': ['Computer Science']}