Vi beräknar och utvärderar relevanspoäng för kunskapsbastripletter från typlika relationer. En sådan värdering mäter i vilken utsträckning ett företag "tillhör" en typ. Quentin Tarantino har till exempel olika yrken, bland annat filmchef, manusförfattare och skådespelare. De två första skulle få höga poäng i vår miljö, eftersom det är hans huvudyrken. Den tredje skulle få en låg poäng, eftersom han mestadels hade cameo framträdanden i sina egna filmer. Sådana poäng är viktiga i rangordningen för företagets frågor, t.ex. "Amerikanska aktörer" eller "quentin tarantino-yrken". Dessa poäng skiljer sig från poäng för "korrekt" eller "korrekt" (alla tre yrken ovan är korrekta och korrekta). Vi föreslår en mängd olika algoritmer för att beräkna dessa poäng. För vår utvärdering utformade vi ett nytt riktmärke, som inkluderar en grundsanning baserad på cirka 14K mänskliga bedömningar som erhållits via crowdsourcing. Överenskommelsen mellan domarna är något över 90 procent. Befintliga metoder från litteraturen ger resultat långt ifrån optimala. Våra bästa algoritmer uppnår en överenskommelse på ca 80% med sanningen.
Bast m.fl. REF studerar problemet med datarelevanspoäng för kunskapsbasen tredubblar från typlika relationer som i huvudsak mäter i vilken utsträckning ett företag tillhör en viss typ.
Relevance Scores for Triples from Type-Like Relations
{'venue': None, 'journal': 'Proceedings of the 38th International ACM SIGIR Conference on Research and Development in Information Retrieval', 'mag_field_of_study': ['Computer Science']}