ABSTRACT Strukturerade förutsägelse energinätverk (SPENs; Belanger & McCallum 2016) använder neurala nätverk arkitekturer för att definiera energifunktioner som kan fånga godtyckliga beroenden bland delar av strukturerade utgångar. Tidigare arbete används lutning nedstigning för slutledning, slappna av den strukturerade utdata till en uppsättning av kontinuerliga variabler och sedan optimera energin med avseende på dem. Vi ersätter denna användning av lutning nedstigning med ett neuralt nätverk tränas till ungefärlig strukturerad argmax inference. Denna "slutsats nätverk" outputs kontinuerliga värden som vi behandlar som utdatastrukturen. Vi utvecklar omfattande utbildningskriterier för gemensam utbildning av den strukturerade energifunktionen och inferensnätverket. På flermärkt klassificering rapporterar vi hastighetsökningar på 10-60x jämfört med (Belanger et al., 2017) samtidigt som noggrannheten förbättras. För sekvensmärkning med enkla strukturerade energier, vår strategi utför jämförelsevis med exakt inferens samtidigt som den är mycket snabbare vid testtiden. Vi visar sedan förbättrad noggrannhet genom att öka energin med en "märkning språkmodell" som poängsätter hela utdata etikettsekvenser, visar att det kan förbättra hanteringen av långdistansberoenden i del-av-tal taggning. Slutligen visar vi hur inferensnätverk kan ersätta dynamisk programmering för testtidsslut i villkorade slumpmässiga fält, vilket tyder på att de allmänt kan användas för snabb slutledning i strukturerade miljöer.
Det mest nära besläktade tidigare arbetet är det av REF, som experimenterade med RNN inference nätverk för sekvens märkning.
Learning Approximate Inference Networks for Structured Prediction
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}