Abstract-Levering data på sociala medier, såsom Twitter och Facebook, kräver information hämtning algoritmer för att kunna relatera mycket korta textfragment till varandra. Traditionella textliknande metoder som tf-idf cosinuslikviditet, baserade på ordöverlappning, misslyckas oftast med att ge goda resultat i detta fall, eftersom ordöverlappning är liten eller obefintlig. Nyligen, distribuerade ord representationer, eller ord inbäddningar, har visat sig att framgångsrikt tillåta ord att matcha på semantisk nivå. För att para ihop korta textfragment – som en sammanblandning av separata ord – behövs en lämplig distribuerad meningsrepresentation, i befintlig litteratur som ofta erhålls genom att naivt kombinera de enskilda ordrepresentationerna. Vi undersökte därför flera textrepresentationer som en kombination av ordinslag i samband med semantisk parmatchning. Detta dokument undersöker effektiviteten av flera sådana naiva tekniker, liksom traditionell tf-idf likhet, för fragment av olika längder. Vårt huvudsakliga bidrag är ett första steg mot en hybrid metod som kombinerar styrkan i täta distribuerade representationer i motsats till gles term matchning-med styrkan i tf-idf baserade metoder för att automatiskt minska effekten av mindre informativa termer. Vårt nya tillvägagångssätt överträffar de befintliga teknikerna i en experimentell leksaksuppsättning, vilket leder till slutsatsen att kombinationen av ordinslag och tf-idf-information kan leda till en bättre modell för semantiskt innehåll inom mycket korta textfragment.
Nyligen använde REF en hybridmetod som förenade ordet inbäddande och tf-idf information om ett textfragment till en distribuerad representation av mycket korta textfragment semantiskt nära varandra.
Learning Semantic Similarity for Very Short Texts
{'venue': '2015 IEEE International Conference on Data Mining Workshop (ICDMW)', 'journal': '2015 IEEE International Conference on Data Mining Workshop (ICDMW)', 'mag_field_of_study': ['Computer Science']}