Vi föreslår en enhetlig neural nätverk arkitektur och lärande algoritm som kan tillämpas på olika naturliga språk bearbetning uppgifter inklusive: del-av-tal taggning, bitning, namngivna enhet igenkänning, och semantisk roll märkning. Denna mångsidighet uppnås genom att försöka undvika uppgiftsspecifik ingenjörskonst och därmed bortse från en hel del förkunskaper. Istället för att utnyttja konstgjorda inmatningsfunktioner som är noggrant optimerade för varje uppgift, lär sig vårt system interna representationer på grundval av stora mängder mestadels omärkta träningsdata. Detta arbete används sedan som grund för att bygga ett fritt tillgängligt märkningssystem med bra prestanda och minimala beräkningskrav.
För att minimera antalet handgjorda funktioner använde REF djupinlärning för att lösa NLP-uppgifter som Del-of-Speech (POS) Tagging, Chunking, Namned Entity Recognition (NER) och Semantic Role Labeling (SRL).
Natural Language Processing (almost) from Scratch
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}