Kvaliteten på ordrepresentationer bedöms ofta med hjälp av korrelation med mänskliga bedömningar av ordlikhet. Här ifrågasätter vi om en sådan inneboende utvärdering kan förutsäga fördelarna med representationerna för uppgifter i efterföljande led. Vi studerar korrelationen mellan resultat på tio ords likhetsriktmärken och taggerprestanda på tre standardsekvensmärkningsuppgifter med hjälp av en mängd olika ordvektorer drivna från en oannoterad corpus på 3,8 miljarder ord, och visar att de flesta inneboende utvärderingar är dåliga prediktorer av nedströmsprestanda. Vi hävdar att denna fråga delvis kan spåras till en underlåtenhet att särskilja specifik likhet från relaterat i inneboende utvärderingsdataset. Vi gör våra utvärderingsverktyg öppet tillgängliga för att underlätta ytterligare studier.
Ref analysera korrelationen mellan resultat på ordlikviditetsriktmärken och sekvensmärkningsuppgifter, och dra slutsatsen att de flesta inneboende utvärderingar är dåliga prediktorer av nedströmsprestanda.
Intrinsic Evaluation of Word Vectors Fails to Predict Extrinsic Performance
{'venue': 'RepEval@ACL', 'journal': None, 'mag_field_of_study': ['Computer Science']}