Ett experiment med senaste testsviten och grammatik (teknik) resurser beskrivs: en kritisk bedömning av EU-finansierad tsnlp (Test Suites for Natural Language Processing) paket som en diagnostisk och benchmarking-anläggning för en distribuerad (multi-site) storskalig hpsg grammatikteknik. I detta dokument argumenteras för en allmän, systematisk och helt automatiserad test- och diagnosanläggning som en integrerad del av den språkliga ingenjörscykeln och ger en praktisk bedömning av befintliga resurser; både en flexibel metodik och verktyg för kompetens- och prestandaprofilering presenteras. Jämfört med tidigare utvärderingsarbete som återspeglas i Hewlett-Packards testsvitsdata, som släpptes exakt tio år före tsnlp, bedöms var testsvitsbaserad utvärdering har förbättrats (och där inte) över tid. Samtida lexikaliserad begränsningsbaserad grammatik (t.ex. Inom ramen för hpsg) med bred grammatisk och lexisk täckning uppvisar enorm begreppsmässig och beräkningsmässig komplexitet; eftersom det grammatiska ramverket syftar till att eliminera redundans och faktor ut generaliseringar, kan interaktionen mellan lexikon och frasstrukturapparat vara subtil och göra det svårt att förutsäga hur även blygsamma förändringar i grammatiken påverkar systemets beteende. Dessutom, i en distribuerad grammatik engineering (d.v.s. För ett projekt där flera * En del av den forskning som rapporteras för närvarande finansieras av den tyska nationella vetenskapsstiftelsen (personer eller till och med platser bidrar till en enda grammatisk resurs) blir det nödvändigt att bedöma effekten av enskilda bidrag, regelbundet utvärdera kvaliteten på den övergripande grammatiken och jämföra den med tidigare versioner. Förutom kortfattad täckning (dvs. I de flesta tillämpningsscenarier spelar effektivitet och resursförbrukning en allt viktigare roll. Därför ger bearbetningskomponenterna vanligtvis (potentiellt) en stor inventering av kontrollparametrar och preferensinställningar. Vid inställning av analyskomponenten för att förbättra systemets prestanda förlitar sig grammatikskribenter ofta på introspektion, kunskaper i grammatik och personliga erfarenheter, men utan systematisk profilering och prestandaanalys är processoroptimering detsamma som att gissa parameterinställningar och konstant experimenterande. I allmänhet, med tanke på likheten i uppställning (bestämmande med storskalig enande grammatik), kan man förvänta sig att observationer av Carroll (1994) (se ovan) håller för hpsg-system också. Trots den växande variationen av metoder för NLP, utvecklingen av beräknings grammatik är fortfarande en förutsättning för NLP-system som förlitar sig på (eller åtminstone införliva) vad som ofta kallas djup (eller fullständig) språklig analys. För att göra det möjligt för utvecklare att uppnå den grammatiska täckning som krävs för de mest realistiska tillämpningskontexterna har betydande investeringar gjorts i grammatiktekniska metoder och verktyg; därför finns det för de flesta av de samtida grammatiska ramarna inom beräkningslingvistik ett (ibland stort) antal utvecklingsmiljöer att välja mellan. Samtidigt underlättar den förbättrade metodiken och strikt formalisering, deklarativitet och modularitet av grammatiska resurser fördelningen av utvecklingen mellan flera grammatikförfattare och ibland till och med platser. Förr i tiden (t.ex. för rent regelbaserade system) grammatik ofta utvecklats och underhålls av en enda person under år eller årtionden och slutligen ansluten i livscykeln till att en utvecklare (se Erbach och Uszkoreit (1990) ), är det nu mer fre-
Som en slutsats av TSNLP påpekar REF att det är nödvändigt att "bedöma effekten av enskilda bidrag, regelbundet utvärdera kvaliteten på den övergripande grammatiken och jämföra den med tidigare versioner".
Towards Systematic Grammar Profiling Test Suite Technology Ten Years After
{'venue': 'Special Issue on Evaluation), 411', 'journal': None, 'mag_field_of_study': ['Computer Science']}