Verkliga väsen (t.ex. människor och platser) är ofta sammankopplade via relationer och bildar multirelationella data. Att modellera multirelationella data är viktigt inom många forskningsområden, från behandling av naturligt språk till biologisk datautvinning [6]. Tidigare arbete på multi-relationell lärande kan kategoriseras i tre kategorier: (1) statistisk relationell inlärning (SRL) [10], såsom Markovlogic nätverk [21], som direkt koda multi-relationell grafer med hjälp av probabilistiska modeller; (2) sökväg ranking metoder [16, 7], som uttryckligen utforska den stora relationell funktion utrymme relationer med slumpmässig gång; och (3) inbäddande-baserade modeller, som inbäddade multi-relationell kunskap i lågdimensionella representationer av enheter och relationer via tensor/matris factorization [24, 18, 19], Bayesian klusterverk [15, 26], och neurala nätverk [20, 1, 2, 25]. Vårt arbete fokuserar på studier av neural-bäddning modeller, där representationerna lärs i en neural nätverk arkitektur. De har visat sig vara kraftfulla verktyg för multirelationellt lärande och slutsatser på grund av sin höga skalbarhet och starka generaliseringsförmåga. Ett antal tekniker har nyligen föreslagits för att lära enhet och relation representationer med hjälp av neurala nätverk [1, 2, 25]. De representerar alla enheter som lågdimensionella vektorer och representerar relationer som operatörer som kombinerar två enheters representationer. Den största skillnaden mellan dessa tekniker ligger i parametriseringen av relationsoperatörerna. Med tanke på två vektorer representerar modellen Neural Tensor Network (NTN) [25] varje relation som en bilinjär tensoroperatör och en linjär matrisoperatör. Modellen TransE [2], å andra sidan, representerar varje relation som en enda vektor som linjärt interagerar med enhetsvektorerna. Båda modellerna rapporterar lovande resultat om att förutsäga osynliga relationer i kunskapsbaser. De har dock inte direkt jämförts med varandra när det gäller de olika valmöjligheterna för närstående operatörer och den effektivitet som blir följden. Inte heller utformningen av enhetsrepresentationer i dessa nyligen genomförda studier har noggrant undersökts. Till exempel visar NTN [25] först fördelarna med att representera enheter som ett genomsnitt av ordvektorer och initiera ordvektorer med förtränade vektorer från stora textkorpora. Denna idé är lovande eftersom förtränade vektorer tenderar att fånga syntaktisk och semantisk information från naturligt språk och kan bidra till bättre generalisering av enhet inbäddningar. Många verkliga enheter uttrycks dock som icke-kompositionella fraser (t.ex. personnamn, filmnamn, etc.), med vars innebörd inte kan utgöras av deras ingående ord. Därför kan det hända att medeltal ordvektorer inte ger en lämplig representation för sådana enheter. I detta dokument undersöker och jämför vi olika typer av relationsoperatörer och vektorrepresentationer inom en allmän ram för multirelationellt lärande. Särskilt härleder vi flera nyligen föreslagna inbäddade modeller, inklusive Trans [2] och NTN [25], och deras varianter inom samma ram. Vi utvärderar empiriskt deras prestation på en kunskapsbas avslutning uppgift med hjälp av olika verkliga dataset i en kontrollerad experimentell miljö och presentera flera intressanta rön. För det första tenderar modeller med färre parametrar att vara bättre än mer komplexa modeller både vad gäller prestanda och skalbarhet. För det andra spelar den bilinjära operatören en viktig roll för att fånga enhetsinteraktioner. För det tredje, med samma modell komplexitet, multiplikativ verksamhet är överlägsen additiv verksamhet i modellering relationer. Slutligen, att initiera entitetsvektorer med förtränade frasvektorer kan avsevärt öka prestanda, medan representerar entitetsvektorer som ett genomsnitt av ordvektorer som initieras med förtränade vektorer kan skada prestanda.
REF anser att multiplikativ verksamhet är överlägsen additiv verksamhet i modelleringsförhållanden.
Learning Multi-Relational Semantics Using Neural-Embedding Models
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}