Även om mycket arbete nyligen har ägnats åt utbildning av högkvalitativa straff inbäddningar, har vi fortfarande en dålig förståelse för vad de fångar. "Downstream" uppgifter, ofta baserat på mening klassificering, används ofta för att utvärdera kvaliteten på mening representationer. Uppgifternas komplexitet gör det dock svårt att dra slutsatsen vilken typ av information som finns i representationerna. Vi introducerar här 10 undersökningsuppgifter som är utformade för att fånga enkla språkliga drag i meningar, och vi använder dem för att studera inbäddningar som genereras av tre olika kodare tränas på åtta olika sätt, avslöjar spännande egenskaper hos både kodare och träningsmetoder.
Referensreferensreferensen inför "kontrolluppgifter" för egen utvärdering av meningsutsmyckningar.
What you can cram into a single vector: Probing sentence embeddings for linguistic properties
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}