Idag när många utövare kör grundläggande NLP på hela webben och stortrafik, snabbare metoder är avgörande för att spara tid och energikostnader. Nyligen gjorda framsteg i GPU-hårdvara har lett till uppkomsten av dubbelriktade LSTMs som en standardmetod för att erhålla pertoken vektor representationer som fungerar som ingång till märkning uppgifter som NER (ofta följt av förutsägelse i en linjär kedja CRF). Även uttrycksfulla och exakta, dessa modeller misslyckas med att fullt ut utnyttja GPU parallellism, vilket begränsar deras beräkningseffektivitet. I detta dokument föreslås ett snabbare alternativ till bi-LSTM:s för NER: Iterated Dilated Convolutional Neural Networks (ID-CNNs), som har bättre kapacitet än traditionella CNN:er för stora sammanhang och strukturerade förutsägelser. Till skillnad från LSTMs vars sekventiella bearbetning på meningar av längd N kräver O(N ) tid även i ansiktet av parallellism, ID-CNNs tillåter fast djupgående konvolutioner att köra parallellt över hela dokument. Vi beskriver en tydlig kombination av nätverksstruktur, parameterdelning och träningsförfaranden som möjliggör dramatiska 14-20x testtime speedups samtidigt som noggrannheten bibehålls jämförbar med Bi-LSTM-CRF. Dessutom är ID-CNNs utbildade för att aggregera sammanhang från hela dokumentet ännu mer exakta samtidigt som 8x snabbare testtidhastigheter bibehålls.
REF ) använda en dilaterad konvolutionella neurala nätverk för att effektivt aggregera bred kontextinformation.
Fast and Accurate Entity Recognition with Iterated Dilated Convolutions
{'venue': 'EMNLP', 'journal': None, 'mag_field_of_study': ['Computer Science']}