Vilket är det bästa sättet att bedöma prestandan hos en semantisk komponent i ett NLP-system? Tradition i NLP utvärdering säger oss att jämföra utdata mot en guld standard är en bra idé. För att definiera en guldstandard måste man först bestämma sig för representationsspråket, och i många fall verkar ett förstklassigt språk vara en bra kompromiss mellan uttryckskraft och effektivitet. För det andra måste man bestämma hur man ska representera de olika semantiska fenomenen, särskilt djupet i analysen av kvantifiering, pluraler, eventualiteter, tematiska roller, omfattning, anafora, presupposition, ellips, komparativa, superlativa, spända, aspekter och tidsuttryck. Därför kommer det att bli svårt att komma fram till en notationsplan om man inte tillåter olika nivåer av semantisk granularitet. Alternativet är en teorineutral utvärdering av svarta lådor där vi bara tittar på hur systemen reagerar på olika ingångar. För detta tillvägagångssätt kan vi överväga den välkända uppgiften att erkänna textbegrepp, eller den mindre kända uppgiften att kontrollera textmodeller. Nackdelen med svart-box metoder är att det är svårt att komma med naturliga data som täcker specifika semantiska fenomen. Formella metoder för analys av betydelsen av naturliga språkuttryck har länge begränsats till det elfenbenstorn som byggts av semantiker, logiker och språkfilosofer. Det var bara i undantagsfall som de tog sig direkt in i NLP-verktyg med öppen domän. På senare tid har situationen förändrats. Tack vare utvecklingen av trädbankar (stora samlingar av texter kommenterade med syntaktiska strukturer), robusta statistiska tolkar utbildade på sådana trädbankar, och utvecklingen av storskaliga semantiska lexica, har vi nu till vårt förfogande system som kan producera formella semantiska representationer som uppnår hög täckning (Schiehlen, 1999; Bos et al., 2004; Bos, 2005; Copestake et al., 2005; Delmonte, 2006; Sato et al., 2006; Moldovan et al., 2007). Anta att vi vill utvärdera den semantiska komponenten i sådana NLP-system. Hur ska vi gå till väga? Förmodligen det mest uppenbara sättet är att titta på de semantiska representationer som systemet producerar och jämföra det med en guld standard annotering. När allt kommer omkring, det är vad vi gör när vi utvärderar del-av-tal taggning, bitning, namngivna enhet erkännande, och syntaktisk tolkning. Men exakt hur bör en sådan guldstandard för meningsfulla representationer se ut? Vad är egentligen en lämplig semantisk representation? Bör den följa en särskild (formell) semantikteori, eller snarare inta en självständig hållning? Vilka semantiska fenomen bör den syfta till att täcka? Att ha dessa frågor är dessutom en aktuell fråga. Som påpekats ovan uppstår nu system med bred täckning som påstår sig ha genuina semantiska komponenter, och vi behöver ett otvetydigt sätt att utvärdera dessa system för att mäta proger och benchmarking. Den viktigaste frågan är om en jämförelse med en guldstandard (den så kallade "Glass-Box"-metoden) är en effektiv metod för att bedöma semantisk lämplighet. Att kommentera text med semantiska representationer är en enorm uppgift, med många val att göra, vilket jag kommer att visa i detta dokument. Alternativt skulle man kunna använda "Black-Box"-metoder för semantisk utvärdering. Jag kommer att diskutera två sådana metoder i detta dokument: uppgiften att erkänna textbegreppet och uppgiften att kontrollera textmallen. För utvärderingen av glasboxen måste vi besluta om två frågor. Det första är ett globalt val och handlar om representationsspråkets karaktär. Den andra handlar om djupet i analysen av de olika semantiska fenomen som man måste tänka på. Inom ramen för detta dokument menar jag med en semantisk representation en tolkningsbar struktur, med andra ord en logisk form med en modell-teoretisk semantik. En sådan representation har en logisk grund. Det finns många val vi kan göra här, bland dem, representationsspråk baserade på: • förslagslogik; • någon beskrivning logik (många val här); • någon modal logik (många val här också); • första ordningen logik (dvs. predikatlogik); • högre ordningslogik (d.v.s. lambda analys). Listan ovan är i stort sett beställd med uttryckskraft. Ett uttrycksfullt språk är trevligt att ha, men ofta är priset högt. Om vi antar att vi inom ramen för skalbar språkteknik tar "semantisk analys" inte bara som uppgiften att representera mening, utan också som uppgiften att automatiskt resonera med producerade betydelserepresentationer, är en kompromiss mellan uttryckskraft och praktiska resonemangsförmåga oundviklig. På ena änden av spektrumet har vi fått förslagslogik, en logik med mycket attraktiva komplexa egenskaper, men med mycket begränsade möjligheter att modellera alla intressanta 2835
En detaljerad diskussion om formella metoder för analys av betydelsen av naturliga språkuttryck finns i REF.
Let’s not Argue about Semantics
{'venue': 'LREC', 'journal': None, 'mag_field_of_study': ['Computer Science']}