Ouppmärksamma textinbäddningsmetoder, såsom Skip-gram och stycke Vector, har fått ökad uppmärksamhet på grund av deras enkelhet, skalbarhet och effektivitet. Men att jämföra med sofistikerade djupinlärning arkitekturer såsom konvolutionella neurala nätverk, dessa metoder ger vanligtvis sämre resultat när de tillämpas på särskilda maskininlärning uppgifter. En möjlig orsak är att dessa inbäddade metoder lär sig att representera texten på ett helt oövervakat sätt, utan att utnyttja den märkta information som är tillgänglig för uppgiften. Även om inlärda lågdimensionella representationer är tillämpliga på många olika uppgifter, är de inte särskilt anpassade för någon uppgift. I detta dokument fyller vi denna lucka genom att föreslå en halvövervakad metod för att lära sig textdata, som vi kallar den prediktiva texten inbäddning (PTE). Prediktiv text inbäddning använder både märkta och omärkta data för att lära sig inbäddning av text. Den märkta informationen och de olika nivåerna av information om sammanfallande ord representeras först som ett storskaligt heterogent textnätverk, som sedan inbäddas i ett rum med låg dimension genom en principiell och effektiv algoritm. Denna lågdimensionella inbäddning bevarar inte bara den semantiska närheten av ord och dokument, utan har också en stark prediktiv kraft för den specifika uppgiften. Jämfört med nyligen övervakade metoder baserade på konvolutionella neurala nätverk, prediktiv text inbäddning är jämförbar eller mer effektiv, mycket effektivare, och har färre parametrar att stämma.
I REF föreslogs en halvövervakad metod kallad Predictive Text Embedding (PTE), där både märkt information och olika nivåer av ordsammankomst kodades i ett storskaligt heterogent textnät, som sedan inbäddades i ett utrymme med låga dimensioner.
PTE: Predictive Text Embedding through Large-scale Heterogeneous Text Networks
{'venue': "KDD '15", 'journal': None, 'mag_field_of_study': ['Computer Science']}