Vi tar itu med problemet med att automatiskt anpassa meningar i naturligt språk till motsvarande videosegment utan någon direkt övervakning. De flesta befintliga algoritmer för att integrera språk med videor förlitar sig på handanpassade parallella data, där varje mening i naturligt språk är manuellt i linje med dess motsvarande bild- eller videosegment. Nyligen, helt oövervakad anpassning av text med video har visat sig vara genomförbart med hjälp av hierarkiska generativa modeller. I motsats till de tidigare generativa modellerna föreslår vi tre latent-variable discriminativa modeller för den oövervakade anpassningsuppgiften. De föreslagna diskriminerande modellerna kan införliva domänkunskap genom att lägga till olika och överlappande funktioner. Resultaten visar att discriminativa modeller överträffar de generativa modellerna när det gäller anpassningsnoggrannhet.
REF använder latent-variable baserade discriminativa modeller (CRF, Structured Perceptron) för oövervakad anpassning.
Discriminative Unsupervised Alignment of Natural Language Instructions with Corresponding Video Segments
{'venue': 'HLT-NAACL', 'journal': None, 'mag_field_of_study': ['Computer Science']}