ATIS-domänen Air Travel Information System (ATIS) fungerar som den gemensamma utvärderingsuppgiften för ARPA:s språksystemutvecklare. 1 För att stödja denna uppgift samordnar arbetsgruppen för datakollection (MADCOW) för insamling av data. I detta dokument beskrivs den senaste tidens MADCOW-verksamhet. I detta dokument beskrivs särskilt övergången av ATIS-uppgiften till en rikare relationsdatabas och utvecklingskorpus (ATIS-3) och beskrivs ATIS-3-korpus. Den utvidgade databasen, som innehåller information om 46 amerikanska och kanadensiska städer och 23 457 flygningar, släpptes hösten 1992, och datainsamlingen för ATIS-3 corpus inleddes kort därefter. ATIS-3 corpus består nu av totalt 8297 utgivna utbildningsuttalanden och 3211 uttalanden reserverade för testning, samlade på BBN, CMU, MIT, NIST och SRI. 2906 av utbildningsuttalanden har kommenterats med korrekt information från databasen. I detta dokument beskrivs ATIS-3-korpus i detalj, inklusive uppdelningar av data efter typ (t.ex. Sammanhangsoberoende, sammanhangsberoende och ovärderliga) och variationer i de uppgifter som samlas in på olika platser. Detta dokument innehåller även en beskrivning av databasen ATIS-3. Slutligen diskuterar vi framtida datainsamlings- och utvärderingsplaner. ATIS-uppgiften användes först som en gemensam ARPA språkutvärderingsuppgift 1990 [1, 2]. I ATIS-uppgiften får försökspersonerna flygreseinformation såsom flygtidtabeller, biljettpriser och marktransport från en relationsdatabas med talat naturligt språk och använder den för att lösa flygreseplaneringsscenarier. Även om den centrala flygreseplaneringsuppgiften har varit densamma sedan början, har dess användning i utvärderingen gradvis utvecklats under årens lopp med de allmänna målen att öka kakelmatchen mellan 1. Detta dokument utarbetades under överinseende av arbetsgruppen för insamling av data om multisite-atis (MADCOW). Förutom författarna har många andra personer, som listats under avsnittet Erkännanden, lämnat viktiga bidrag till detta arbete. Utvärderingen och en verklig uppgift samt att öka metriska noggrannheten. Den första officiella utvärderingen gjordes i februari 1991 efter en torrkörning i juni 1990. I 1991 års utvärdering utvärderades kontextoberoende (klass A) frågor samt dialogpar (D1). Poängen för ett system var den viktade-terror metriska som inkluderade ett straff för felaktiga svar i motsats till "Nej svar". Ytterligare förbättringar gjordes i utvärderingen i november 1992, där frågor om klass D (utmattningar med kontextberoenden under hela dialogrutan) utvärderades. En annan ändring som infördes 1992 var regn-max-kriteriet, där den information som tillhandahålls av systemen i svaret måste ligga mellan ett minimi- och ett maximibelopp. I den senaste utvärderingen, december 1993, har den huvudsakliga förändringen varit att minska det viktade felet metriska och rapportera resultat baserade på det oviktade felet, eller 100-% T. 1993 års språkförståelseutvärdering av ATIS är den första utvärderingen baserad på ATIS-3-korpus ([5]). ATIS-3 corpus kommer också att tillhandahålla testdata för utvärdering av ATIS i december 1994. Dessutom har testdata reserverats för en torrkörning av en semantisk utvärdering [6]. Den ursprungliga ATIS-uppgiften baserades på en relationsdatabas med information om flygresor för 11 städer. Tre corpora av spontana talspråk uttalanden (ATIS-0, ATIS-1 och ATIS-2) samlades med denna databas med hjälp av en mängd olika paradigmer, som beskrivs i [3, 4]. När ATIS-tekniken utvecklades ansåg man att den ursprungliga ATIS-uppgiften var orealistiskt begränsad på grund av den lilla storleken på kakeldatabasen. Databasen har därför utvidgats till att omfatta information om flygresor för 46 städer. Den utvidgade databasen släpptes i kakel hösten 1992, och datainsamlingen inleddes kort därefter. Den nya databasen är baserad på flygresor data från kakel Official Airline Guide (OAG) i juni 1992 och nuvarande vid den tidpunkten. Databasen innehåller information för 46 städer 43 och 52 flygplatser i USA och Kanada. Den största tabellen i databasen exp;mded, flygtabellen, innehåller information om 23 457 flygningar. Detta kan jämföras med 11 städer, 9 flygplatser och 765 flygningar i de tidigare ATIS-databaserna och utgör helt klart en betydande ökning av ATIS-uppgiften. Trots att antalet flygningar i databasen har ökat med över en faktor av trettio, omvandlingen till den större databasen har inte orsakat några allvarliga svårigheter för :sites gör datainsamling, de webbplatser som gör utvärdering, eller annoterare.Detta resultat är uppmuntrande, eftersom det visar att SLS-tekniken som utvecklats på en liten databas kan skala upp till en betydligt större uppgift. Städer mitt i flygplatser som ingår i den nya databasen förtecknas i bilagan. Data från AT1S-3 samlades in på BBN, CMU, MIT, NIST och SRI. NIST deltog i ATIS datainsamling för första gången i denna omgång datainsamling, med hjälp av datainsamlingsprogram från både BBN och SRI. Sedan starten av ATIS uppgift datainsamling paradigm har gått mot allt mer automatiserade metoder. Originalet ATIS-0 corpus samlades in med hjälp av mänskliga trollkarlar för att både transkribera subjektens uttalanden och tolka dem (den så kallade "wizard of OZ" paradigm). I ATIS-3 corpus gjordes nästan all transkription och tolkning av ämnenas tal av webbplatsernas ATIS-system själva. Det enda undantaget var MIT, som samlade data med hjälp av en transkription guide i stället för en talkännare, medan du använder MIT: s naturliga språksystem för att tolka uttalandena. Automatisk datainsamling har fördelen av minskade kostnader. Dessutom är uppgifterna mer realistiska i den meningen att de erhålls från personer som verkligen talar med en dator. Nackdelen med automatisk datainsamling är att ofullständig behandling av det talade språket ibland leder till förekomsten av artefakter i datainsamlingen, såsom uttalanden upprepade om och om igen. Den allmänna processen för datainsamling och annotering enligt beskrivningen i [3] har inte ändrats i datainsamlingen för ATIS-3. Vi sammanfattar denna process här för bekvämlighetens skull. Samlade data transkriberas på insamlingsplatsen och skickas till NIST, där det loggas och potentiella testdata hålls ut. Uppgifterna lämnas sedan ut till platser som deltar i ATIS-utvärderingarna som initiala, dvs. oannoterade, data, och skickas samtidigt till SRI för annotering. Under annoteringen delas uppgifterna in i tre kategorier: Principerna för tolkning används för att kategorisera uttalanden i dessa tre klasser och specificerar också hur man tolkar vaga uttryck som förekommer i uttalanden i klass A och D. Annoterade data returneras från SRI till NIST och släpps av NIST. En fullständig uppsättning data för en ämnessession innehåller följande filer: •.wav: talvågsform De totala data som samlas in för ATIS-3 corpus består av 12.047 uttalanden, varav 3876 har kommenterats. Uppgifterna delas upp mellan olika platser som visas i tabell 1. Cirka 20 % av de inlämnade uppgifterna fördelas till den pool från vilken testdata från utvärderingen hämtas. Dessutom har 500 uttalanden från NIST-datainsamlingen reserverats som testdata för en eventuell torrkörning för semantisk utvärdering i ATIS [6]. Denna tabell innehåller inte 1440 ytterligare uttalanden som samlats in vid CMU och som ännu inte offentliggjorts som ursprungliga uppgifter. Två ämnesscnearier från ATIS-3-korpus kan ses i tillägg 2. Lägg särskilt märke till de falska börjar typiskt för spontant tal. Något över 1/3, eller 36%, av de släppta initiala data har kommenterats med rätt svar. Oannoterade uppgifter omfattar uppgifter som reserverats för utvärderingen i december 1994 och som kommer att kommenteras strax före utvärderingen för att säkerställa att de överensstämmer med tolkningsprinciperna vid den tidpunkten. Andra oannoterade data inkluderar data från NIST och SRI som mottogs för sent för att kommenteras. Den fullständiga corpus av kommenterade data innehåller också 667 meningar som samlats in för november 1992 logfile experiment [4]. Även om dessa uttalanden samlades in med hjälp av 11 stadsdatabaser, kommenterades de med hjälp av den utvidgade databasen. Skälet till detta beslut var att annoterarna ville få erfarenhet av den utvidgade databasen, och vid den tidpunkten var loggfilsuppgifterna de enda tillgängliga uppgifterna. De kommenterade uppgifterna delas upp i klasserna A, D och X per plats enligt tabell 2. Om de kommenterade uppgifterna är uppdelade efter plats och klass, kan det noteras att det finns ett brett utbud av variation mellan platser i kakel relativ andel av A, D och X frågor, som kan ses i figur 1. Vi anser att detta till stor del beror på effekterna av olika datainsamlingsscenarier som används av de olika platserna. De praktiska konsekvenserna av denna effekt är att en förståelse av hur scenarier uppnår denna effekt kan leda till utveckling av tekniker för att förbättra systemets prestanda för särskilda tillämpningar. ATIS-PLANER Trots att nästan 25.000 ATIS-uttalanden har samlats in sedan 1990 finns det inga standardutarbetade testdata för ATIS. Platser har individuellt konstruerade utvecklingstester från träningsdata och utvärderingstester, men denna metod gör det svårt att göra jämförelser mellan olika platser. Även om jämförelser mellan olika platser är ett viktigt mål för den officiella utvärderingen, gör variationer i testen från år till år jämförelser mellan år problematiska. Dessutom, om testdata för utvärdering används efter utvärderingen som utvecklingstestdata, är det förorenat av systemutvecklare som tittar på det i detalj för bedömningsändamål. Förekomsten av ett utvecklingsprov corpus kommer också att öka nyttan av ATIS-3 corpus efter all utbildning och utvärdering testdata släpps genom att tillhandahålla en källa till osedda data. Av dessa skäl har MADCOW beslutat att samla in ytterligare 300–500 uttalanden från BBN, CMU, MIT, NIST och SRI, som ska utses till utvecklingstester. Dessa uppgifter kommer att samlas in under våren 1994 och kommer att ha hög prioritet för tidig notering. MADCOW är också intresserad av att undersöka andra utvärderingsparadigmer än filstandard CAS-utvärdering. Dessa inkluderar end-to-end/logfile metod som beskrivs i [4], samt den semantiska utvärdering paradigm beskrivs i [6].
På flygreseområdet består datauppsättningen ATIS REF av 5.426 scenarier.
Expanding The Scope Of The ATIS Task: The ATIS-3 Corpus
{'venue': 'Human Language Technology Conference', 'journal': None, 'mag_field_of_study': ['Computer Science']}