Vi föreslår återkommande stöd vektor maskin (RSVM) för slot taggning. Denna modell är en kombination av det återkommande neurala nätverket (RNN) och den strukturerade stödvektorn maskin. RNN extraherar funktioner från ingångssekvensen. Den strukturerade stödvektorn använder en sekvens-nivå diskriminativ objektiv funktion. Den föreslagna modellen kombinerar därför en RNN:s funktion för sekvensrepresentation med det särskiljande målet på sekvensnivå. Vi har observerat nya toppmoderna resultat på två referensdataset och en privat dataset. RSVM uppnådde statistiskt signifikant förbättring på 4 % respektive 2 % relativ genomsnittlig förbättring av F1-poäng för ATIS-dataset respektive Chunkingdataset. Av åtta domäner i Cortanas liveloggdatauppsättning uppnådde RSVM F1-resultatförbättring på sju domäner. Experiment visar också att RSVM avsevärt påskyndar modellträningen genom att hoppa över viktuppdateringen för icke-stödda vektorträningsprover, jämfört med träning med RNN med CRF eller minimala korsentropimål.
Till exempel föreslår REF Recurrent Support Vector Machine (RSVM), som använder ett återkommande neuralt nätverk för att inducera en funktion representation och en strukturerad stöd vektor maskin för att utföra strukturerad förutsägelse om utdata från RNN.
Recurrent Support Vector Machines For Slot Tagging In Spoken Language Understanding
{'venue': 'HLT-NAACL', 'journal': None, 'mag_field_of_study': ['Computer Science']}