Vi presenterar SimLex-999, en guldstandardresurs för utvärdering av distributionssemantiska modeller som förbättrar befintliga resurser på flera viktiga sätt. För det första, i motsats till guld standarder som WordSim-353 och MEN, det uttryckligen kvantifierar likhet snarare än association eller släktskap så att par av enheter som är associerade men inte faktiskt liknande (Freud, psykologi) har ett lågt betyg. Vi visar att genom detta fokus på likhet, SimLex-999 uppmuntrar utvecklingen av modeller med ett annat, och utan tvekan bredare, utbud av tillämpningar än de som speglar konceptuell förening. För det andra innehåller SimLex-999 en rad konkreta och abstrakta adjektiv, substantiv och verbpar, tillsammans med en oberoende bedömning av betong och (fri) föreningsstyrka för varje par. Denna mångfald möjliggör finkorniga analyser av modellers prestanda på koncept av olika slag, och därmed större insikt i hur arkitekturer kan förbättras. Till skillnad från befintliga standardutvärderingar av guld, för vilka automatiska metoder har nått eller överträffat det inter-anmälaravtalstaket, presterar dessutom toppmoderna modeller långt under detta tak för SimLex-999. Det finns därför gott om utrymme för SimLex-999 att kvantifiera framtida förbättringar av distributionssemantiska modeller, vilket styr utvecklingen av nästa generations representations-lärande arkitekturer.
Nyligen presenterade REF SimLex-999, en standardresurs i guld för utvärdering av semantiska representationer som innehåller likhetsbetyg på ordpar mellan olika delar av talkategorier och betongnivåer.
SimLex-999: Evaluating Semantic Models With (Genuine) Similarity Estimation
{'venue': 'Computational Linguistics', 'journal': 'Computational Linguistics', 'mag_field_of_study': ['Computer Science']}