Detta dokument presenterar den första gemensamma uppgiften om ironi upptäckt: med tanke på en tweet, automatiska naturliga språk bearbetningssystem bör avgöra om tweet är ironisk (Task A) och vilken typ av ironi (om någon) uttrycks (Task B). De ironiska tweets samlades in med ironi-relaterade hashtaggar (dvs. #irony, #sar-casm, #not) och var därefter manuellt kommenterade för att minimera mängden buller i corpus. Innan uppgifterna distribuerades togs hashtaggar som användes för att samla in tweetsen bort från corpus. För båda uppgifterna tillhandahölls ett träningskort på 3834 tweets, samt ett testset med 784 tweets. Våra delade uppgifter fick bidrag från 43 lag för binär klassificering Uppgift A och från 31 lag för multiklass Uppgift B. De högsta klassificeringspoängen för båda deluppgifterna är F 1 = 0,71 respektive F 1 = 0,51 och visar att finkornig ironiklassificering är mycket mer utmanande än binär ironidetektering.
REF presenterar den första gemensamma uppgiften att upptäcka ironi i tweets.
SemEval-2018 Task 3: Irony Detection in English Tweets
{'venue': 'SemEval@NAACL-HLT', 'journal': None, 'mag_field_of_study': ['Computer Science']}