Vi introducerar SentEval, en verktygslåda för att utvärdera kvaliteten på universella meningsrepresentationer. SentEval omfattar en mängd olika uppgifter, inklusive binär och multi-klass klassificering, naturlig språk inferens och mening likhet. Uppgiftsuppsättningen valdes ut på grundval av vad som verkar vara samförstånd i samhället när det gäller lämpliga utvärderingar av allmänna meningsrepresentationer. Verktygslådan levereras med skript för att ladda ner och förbehandla datauppsättningar, och ett enkelt gränssnitt för att utvärdera mening kodare. Syftet är att skapa ett rättvisare, mindre tungrott och mer centraliserat sätt att utvärdera straffrepresentationer.
Detta arbete utvidgades till SentEval REF, en verktygslåda för att utvärdera kvaliteten på meningen inbäddning både i sig och extrinsiskt.
SentEval: An Evaluation Toolkit for Universal Sentence Representations
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}