I detta dokument presenterar vi vår uppgiftsbaserade utvärdering av frågeförväntad summering för gränsöverskridande informationssökning (CLIR) med hjälp av relevanta förutsägelser. Vi beskriver våra 13 summeringsmetoder var och en från en av fyra summeringsstrategier. Vi visar hur bra våra metoder fungerar med Farsi text från CLEF 2008 shared-task, som vi översatt till engelska automatiskt. Vi rapporterar precision/återkallelse/F1, noggrannhet och tid-på-uppgift. Vi fann att olika summeringsmetoder fungerar optimalt för olika utvärderingsmått, men övergripande frågesidiga ordmoln är den bästa summeringsstrategin. I vår analys visar vi att med hjälp av ROUGE-måttet på våra meningsbaserade sammanfattningar inte kan göra samma typer av distinktioner som vår utvärderingsram gör. Slutligen lägger vi fram våra rekommendationer för att skapa välbehövliga utvärderingsstandarder och datauppsättningar.
REF tillhandahåller en uppgiftsbaserad utvärdering av flera frågeförväntade sammanfattande metoder för hämtning av information på flera språk med hjälp av relevanta förutsägelser.
Finding Good Enough: A Task-Based Evaluation of Query Biased Summarization for Cross-Language Information Retrieval
{'venue': 'EMNLP', 'journal': None, 'mag_field_of_study': ['Computer Science']}