Om vi jämför de allmänt använda Villkorliga Random Fields (CRF) med nyligen föreslagna "djup arkitektur" sekvens modeller (Collobert et al., 2011), Det finns två saker förändras: från linjär arkitektur till icke-linjär, och från diskret funktion representation till distribution. Det är dock oklart vad nytta nonlinearity erbjuder i konventionella funktionsbaserade modeller. I denna studie visar vi den nära kopplingen mellan CRF och "sekvensmodellen" neurala nät, och presentera en empirisk undersökning för att jämföra deras prestanda på två sekvens märkning uppgifter - namngiven Entity Recognition och Syntaktic Chunking. Våra resultat tyder på att icke-linjära modeller är mycket effektiva i lågdimensionella fördelningsutrymmen. Något överraskande finner vi att en icke-linjär arkitektur inte erbjuder några fördelar i ett högdimensionellt diskret funktionsutrymme.
REF föreslår att linjära modellarkitekturer drar nytta av ett högdimensionellt, diskret funktionsutrymme.
Effect of Non-linear Deep Architecture in Sequence Labeling
{'venue': 'IJCNLP', 'journal': None, 'mag_field_of_study': ['Computer Science']}