Dubbelriktade LSTM:er har framträtt som en standardmetod för att erhålla vektor representationer per token som fungerar som indata till olika symboliska märkningsuppgifter (vare sig följt av Viterbi förutsägelse eller oberoende klassificering). I detta dokument föreslås ett alternativ till bi-LSTM:s för detta ändamål: iterated dilatated convolutional neural networks (ID-CNNs), som har bättre kapacitet än traditionella CNN:er för stora sammanhang och strukturerade förutsägelser. Vi beskriver en tydlig kombination av nätverksstruktur, parameterdelning och utbildningsförfaranden som inte bara är mer exakt än Bi-LSTM-CRFs, men också 8x snabbare vid testtid på långa sekvenser. Dessutom möjliggör ID-CNN med oberoende klassificering en dramatisk hastighetsökning på 14 gånger testtiden, samtidigt som noggrannheten är jämförbar med Bi-LSTM-CRF. Vi visar vidare IDCNN:s förmåga att kombinera bevis över långa sekvenser genom att visa deras förbättrade noggrannhet på hela dokument (snarare än per-sentence) slutsatser. Till skillnad från LSTMs vars sekventiella bearbetning på meningar av längd N kräver O (N ) tid även i ansiktet av parallellism, IDCNNs tillåter fast djupgående konvolutioner att köra parallellt över hela dokument. Idag när många företag kör grundläggande NLP på hela webben och stor trafik, snabbare metoder är avgörande för att spara tid och energikostnader.
REF föreslog Iterated Dilated Convolutional Neural Networks (ID-CNNs), som var ett snabbare alternativ till återkommande nätverk för att erhålla per symboliska vektor representationer i Natural Language Processing (NLP).
Fast and Accurate Sequence Labeling with Iterated Dilated Convolutions
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}