NLP-gemenskapen har visat ett förnyat intresse för djupare semantiska analyser, bland annat automatiskt erkännande av relationer mellan ordpar i en text. Vi presenterar en utvärderingsuppgift som syftar till att skapa en ram för att jämföra olika metoder för att klassificera semantiska relationer mellan nominella värden i en mening. Detta är en del av SemEval, den fjärde upplagan av den semantiska utvärderingshändelsen som tidigare kallades SensEval. Vi definierar uppgiften, beskriver utbildnings-/testdata och deras skapande, listar de deltagande systemen och diskuterar deras resultat. Det fanns 14 lag som lämnade in 15 system. Temat för Uppgift 4 är klassificeringen av semantiska relationer mellan enkla nominella (nomen eller substantiv fraser) andra än namngivna enheter -honey bi, till exempel, visar ett exempel på ProductProducer relationen. Klassificeringen sker i samband med en mening i en skriven engelsk text. Algoritmer för att klassificera semantiska relationer kan tillämpas i informationshämtning, informationsutdrag, textsammanfattning, frågesvar och så vidare. Erkännandet av textbegrepp är ett exempel på framgångsrik användning av denna typ av djupare analys i avancerade NLP-tillämpningar. Litteraturen visar en mängd olika metoder för nominell relation klassificering. De är lika beroende av utbildningsuppgifterna som av tillämpningsområdet och tillgängliga resurser. Rosario och Hearst (2001) klassificerar substantiv från läkemedelsdomänen med hjälp av 13 klasser som beskriver det semantiska förhållandet mellan substantivet och modulatorn i en given substantivsubstans. Rosario m.fl. (2002) Det råder föga enighet om relationsuppsättningar och algoritmer för analys av semantiska relationer, och det verkar osannolikt att ett enda system skulle kunna fungera för alla tillämpningar. Till exempel, gen-gen relationsschema av Stephens et al. (2001), med förbindelser som X-fosforylater Y, kommer sannolikt inte att överföras lätt till den allmänna texten. Vi har skapat en referensdatauppsättning för att möjliggöra utvärdering av olika semantiska relationsklassificeringsalgoritmer. Vi utgår inte från att föreslå ett enda klassificeringssystem, hur lockande det än skulle vara 13
SemEval-2007 Uppgift 4 Ref var inriktad på relationer mellan nominella värden.
SemEval-2007 Task 04: Classification of Semantic Relations between Nominals
{'venue': 'Fourth International Workshop on Semantic Evaluations (SemEval-2007)', 'journal': None, 'mag_field_of_study': ['Computer Science']}