Multi-hop resonemang är en effektiv metod för frågesvar (QA) över ofullständiga kunskapsgrafer (KGs). Problemet kan formuleras i en förstärkning inlärning (RL) setup, där en policy-baserad agent gradvis utökar sin slutsats väg tills den når ett mål. I en ofullständig KG-miljö får agenten dock belöningar av låg kvalitet som korrumperats av falska negativa i träningsdata, vilket skadar generaliseringen vid testtillfället. Dessutom, eftersom ingen gyllene handling sekvens används för utbildning, agenten kan vilseledas av falska sökvägar som för övrigt leder till rätt svar. Vi föreslår två modellering framsteg för att ta itu med båda frågorna: (1) vi minskar effekten av falsk negativ övervakning genom att anta en pretraherad onehop inbäddning modell för att uppskatta belöningen av oobserverade fakta; (2) vi motverka känsligheten för falska vägar i on-policy RL genom att tvinga agenten att utforska en mängd olika vägar med slumpmässigt genererade kantmasker. Vår strategi förbättrar betydligt över befintliga vägbaserade KGQA-modeller på flera referensdatauppsättningar och är jämförbar eller bättre än inbäddade modeller.
REF omformar belöningarna med hjälp av förtränad inbäddningsmodell.
Multi-Hop Knowledge Graph Reasoning with Reward Shaping
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}