Vi introducerar ett ramverk för oövervakad inlärning av strukturerade prediktorer med överlappande, globala funktioner. Varje indatas latenta representation förutsägs vara villkorad av observerade data med hjälp av ett funktionsrikt villkorligt slumpmässigt fält (CRF). Därefter är en rekonstruktion av inmatningen (åter)genererad, villkorad av den latenta strukturen, med hjälp av en generativ modell som faktoriserar på liknande sätt som CRF. Autoencoder formuleringen möjliggör effektiv exakt slutledning utan att tillgripa orealistiska självständighet antaganden eller begränsa de typer av funktioner som kan användas. Vi illustrerar kopplingar till traditionella autokodare, bakre legalisering, och multi-view lärande. Vi visar sedan konkurrenskraftiga resultat med ögonblick av ramverket för två kanoniska uppgifter i naturligt språk bearbetning: del-av-tal induktion och bitext ordjustering, och visar att utbildning den föreslagna modellen kan vara betydligt effektivare än en jämförbar funktionsrik baslinje.
Till exempel föreslår Ref att man kombinerar CRF och auto-encoder ramar för oövervakat lärande.
Conditional Random Field Autoencoders for Unsupervised Structured Prediction
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}