Idag när många utövare kör grundläggande NLP på hela webben och stortrafik, snabbare metoder är avgörande för att spara tid och energikostnader. Nyligen gjorda framsteg i GPU-hårdvara har lett till uppkomsten av dubbelriktade LSTMs som en standardmetod för att erhålla pertoken vektor representationer som fungerar som ingång till märkning uppgifter som NER (ofta följt av förutsägelse i en linjär kedja CRF). Även uttrycksfulla och exakta, dessa modeller misslyckas med att fullt ut utnyttja GPU parallellism, vilket begränsar deras beräkningseffektivitet. I detta dokument föreslås ett snabbare alternativ till bi-LSTM:s för NER: Iterated Dilated Convolutional Neural Networks (ID-CNNs), som har bättre kapacitet än traditionella CNN:er för stora sammanhang och strukturerade förutsägelser. Till skillnad från LSTMs vars sekventiella bearbetning på meningar av längd N kräver O(N ) tid även i ansiktet av parallellism, ID-CNNs tillåter fast djupgående konvolutioner att köra parallellt över hela dokument. Vi beskriver en tydlig kombination av nätverksstruktur, parameterdelning och träningsförfaranden som möjliggör dramatiska 14-20x testtime speedups samtidigt som noggrannheten bibehålls jämförbar med Bi-LSTM-CRF. Dessutom är ID-CNNs utbildade för att aggregera sammanhang från hela dokumentet ännu mer exakta samtidigt som 8x snabbare testtidhastigheter bibehålls.
REF utvidgade ovanstående modell genom att ersätta LSTM med Iterated Dilated Convolutional Neural Networks, en variant av CNN, som gör det möjligt för fasta djupgående konvolutioner att köra parallellt över hela dokument och därmed använda GPU, som ger upp till 20 gånger snabbare, samtidigt som prestandan hålls jämförbar med LSTM-CRF-modellen.
Fast and Accurate Entity Recognition with Iterated Dilated Convolutions
{'venue': 'EMNLP', 'journal': None, 'mag_field_of_study': ['Computer Science']}