Många djupgående lärande arkitekturer har föreslagits för att modellera kompositionaliteten i textsekvenser, vilket kräver ett stort antal parametrar och dyra beräkningar. Det har dock inte gjorts någon noggrann utvärdering av mervärdet av sofistikerade sammansättningsfunktioner. I detta dokument genomför vi en punkt-för-punkt jämförande studie mellan Simple Word-Embdingbased Models (SWEMs), bestående av parameterfria pooling operationer, i förhållande till ord-bäddande-baserade RNN/CNN modeller. Förvånansvärt nog uppvisar SWEM jämförbara eller till och med överlägsna resultat i de flesta av de berörda fallen. Baserat på denna förståelse, föreslår vi två ytterligare pooling strategier över lärda ord inbäddningar: (i) en max-pooling operation för förbättrad tolkningsbarhet; och (ii) en hierarkisk pooling operation, som bevarar rumslig (n-gram) information inom textsekvenser. Vi presenterar experiment på 17 datauppsättningar som omfattar tre uppgifter: (i) (lång) dokumentklassificering; (ii) textsekvensmatchning; och (iii) korta textuppgifter, inklusive klassificering och taggning. Källkoden och datauppsättningarna kan erhållas från https:// github.com/dinghanshen/SWEM.
Det finns dock gemensamma strategier för att bevara rumslig information, såsom hierarkisk sammanslagningsoperation REF.
Baseline Needs More Love: On Simple Word-Embedding-Based Models and Associated Pooling Mechanisms
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}