Vi har nyligen avslutat den sjätte i en serie "Message Understanding Conferences" som är utformade för att främja och utvärdera forskning i informationsutvinning. MUC-6 introducerade flera innovationer jämfört med tidigare MUC, särskilt i fråga om de olika uppgifter för vilka utvärderingar genomfördes. Vi beskriver några av motiven för det nya formatet och diskuterar kortfattat några av resultaten av utvärderingarna. Vi har just avslutat den sjätte i en serie av Message Understanding Conferences, som har organiserats av NRAD, RADT&E divisionen av Naval Command, Control and Ocean Surveillance Center (tidigare NOSC, Naval Ocean Systems Center) med stöd av DARPA, Defense Advanced Research Projects Agency. I detta dokument behandlas kort dessa konferensers historia och sedan granskas de överväganden som ledde till strukturen för MUC-6} Budskapsförståelsekonferenserna initierades av NOSC för att bedöma och främja forskning om den automatiska analysen av militära meddelanden som innehåller textinformation. Även om de kallas "konferenser" är MUC inte själva konferenserna utan de utvärderingar som deltagarna måste lämna in för att få delta i konferensen. För varje MUC har deltagande grupper fått exempel på meddelanden och instruktioner om vilken typ av information som ska extraheras, och har utvecklat ett system för att behandla sådana meddelanden. Därefter, strax före konferensen, deltagarna ges en uppsättning testmeddelanden som ska köras genom deras system (utan att göra några ändringar i systemet); utgången av varje deltagares system 1Konferensens hela arbete kommer att distribueras av Morgan Kaufmann Publishers, San Mateo, Kalifornien; tidigare MUC proeeedings~ för MUC-3, 4, och 5, är också tillgängliga från Morgan Kaufmann. MUC är till viss del anmärkningsvärda på grund av den grad i vilken dessa utvärderingar har definierat ett inslag av forskning och utveckling. DARPA har ett antal informations- och teknikprogram som till stor del drivs av regelbundna utvärderingar. MUC är dock anmärkningsvärda genom att de i stor utsträckning har format forskningsprogrammet i informationsutvinning och fört det till sitt nuvarande tillstånd} 2 Early History MUC-1 (1987) var i grunden undersökande; varje grupp utformade sitt eget format för att registrera informationen i dokumentet, och det gjordes ingen formell utvärdering. Genom MUC-2 (1989) hade uppgiften kristalliserats till en mallfyllning. Man får en beskrivning av en klass av händelser som ska identifieras i texten; för var och en av dessa händelser måste man fylla i en mall med information om händelsen. Mallen har platser för information om händelsen, såsom typ av händelse, agent, tid och plats, effekt, etc. För MUC-2 hade mallen 10 platser. Både MUC-1 och MUC-2 involverade sanerade former av militära meddelanden om marin observationer och engagemang. Den andra MUC utarbetade också detaljerna i de primära utvärderingsåtgärderna, återkallande och precision. För att presentera det i enklaste termer, anta svaret nyckeln har Nke~ fyllda slots; och att ett system fyller Neor,.~t slots korrekt och Nin~or, ~t felaktigt (med några andra slots eventuellt lämnas ofyllda). Sedan 2Det fanns dock ett antal individuella rescm'eh insatser i informationsextrahering pågår be-[bre den första MUC, inklusive arbetet med informationsformatering av medieM berättande
Dessa typer av enheter föreslogs ursprungligen i den sjätte meddelandeförståelsekonferensen (MUC-6) REF.