Inlärning genom kontrasterande positiva och negativa prover är en allmän strategi som antagits med många metoder. Bullerkontrastuppskattning (NCE) för ordinslag och översättning av inbäddningar för kunskapsgrafer är exempel i NLP som använder detta tillvägagångssätt. I detta arbete ser vi kontrastivt lärande som en abstraktion av alla sådana metoder och ökar den negativa provtagaren till en blandningsfördelning som innehåller en kontradiktoriskt inlärd provtagare. Den resulterande adaptive sampler finner svårare negativa exempel, som tvingar huvudmodellen att lära sig en bättre representation av data. Vi utvärderar vårt förslag om att lära ord inbäddningar, ordning inbäddningar och kunskapsdiagram inbäddar och observera både snabbare konvergens och förbättrade resultat på flera mätvärden.
REF lär sig genom att jämföra observerade och fiktiva prover med en motsträvigt inlärd provtagare.
Adversarial Contrastive Estimation
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}