Vi föreslår en enhetlig neural nätverk arkitektur och lärande algoritm som kan tillämpas på olika naturliga språk bearbetning uppgifter inklusive: del-av-tal taggning, bitning, namngivna enhet igenkänning, och semantisk roll märkning. Denna mångsidighet uppnås genom att försöka undvika uppgiftsspecifik ingenjörskonst och därmed bortse från en hel del förkunskaper. Istället för att utnyttja konstgjorda inmatningsfunktioner som är noggrant optimerade för varje uppgift, lär sig vårt system interna representationer på grundval av stora mängder mestadels omärkta träningsdata. Detta arbete används sedan som grund för att bygga ett fritt tillgängligt märkningssystem med bra prestanda och minimala beräkningskrav.
Collobert m.fl. REF föreslog en inlärningsalgoritm som kan tillämpas på POS-märkning; deras system lär sig interna representationer på en stor omärkt utbildningsdatauppsättning i stället för att utnyttja konstgjorda funktioner.
Natural Language Processing (almost) from Scratch
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}