På grund av behovet av en djup förståelse av språkliga objekt, anses semantisk representation vara en av de grundläggande komponenterna i flera tillämpningar inom Natural Language Processing och Artificiell Intelligens. Som ett resultat av detta har semantisk representation varit ett av de främsta forskningsområdena inom lexikal semantik under de senaste decennierna. Men på grund av bristen på stor sense-annoted corpora, de flesta befintliga representationstekniker är begränsade till den lexiska nivån och kan därför inte effektivt tillämpas på enskilda ord sinnen. I detta dokument lägger vi fram en ny flerspråkig vektorrepresentation, kallad Nasari, som inte bara möjliggör en korrekt representation av ordförnimmelser på olika språk, utan också ger två huvudsakliga fördelar jämfört med befintliga metoder: 1) hög täckning, inklusive både begrepp och namngivna enheter, 2) jämförbarhet mellan språk och språkliga nivåer (dvs. ord, sinnen och begrepp), tack vare representationen av språkliga objekt i ett enda enhetligt semantiskt utrymme respektive i ett gemensamt inbäddat utrymme. Dessutom är våra representationer flexibla, kan tillämpas på flera ansökningar och är fritt tillgängliga på http://lcl.uniroma1.it/nasari/. Som utvärderingsriktmärke valde vi fyra olika uppgifter, nämligen ordlikhet, sense clustering, domänmärkning och Word Sense Disambiguation, för var och en av dem rapporterar vi toppmoderna prestanda på flera standarddatauppsättningar över olika språk. som dimensioner som gör det möjligt att direkt jämföra olika representationer mellan olika språk och därmed möjliggöra flerspråkiga tillämpningar. I den här artikeln förbättrar vi vårt tillvägagångssätt, som kallas Nasari (Nevel Approach to a Semantically-Aware Representation of Posts) hädanefter, och utvidgar deras tillämpning till ett bredare spektrum av uppgifter inom lexical semantics. De nya bidragen är följande: 50 1. Vi föreslår en ny formulering för snabb beräkning av lexikal specificitet (avsnitt 3.1.1). 2. Utgångspunkten är följande: Vi föreslår ett nytt flexibelt sätt att få kontinuerliga inbäddade vektor representationer, med den extra fördelen att få ett semantiskt utrymme som delas av BabelNet synset, ord och texter (avsnitt 3.3). 3. Vad är det som händer? Vi lägger fram en teknik för förbättrad beräkning av vikter i de enhetliga vektorerna och visar hur den kan förbättra noggrannheten och effektiviteten i representationerna (avsnitt 3.4). Det finns ingen anledning att tro att det finns en risk för att det finns en risk för att det uppstår en allvarlig störning eller en allvarlig störning på grund av en allvarlig störning i miljön, t.ex. en allvarlig störning eller en allvarlig störning i miljön eller en allvarlig störning av människors hälsa eller en allvarlig störning av människors hälsa, eller en allvarlig störning av människors hälsa, eller en allvarlig störning av människors hälsa, eller en allvarlig störning av människors hälsa, eller en allvarlig störning av människors hälsa, eller en allvarlig störning av människors hälsa, eller en allvarlig störning av människors hälsa eller en allvarlig störning av människors hälsa, eller en allvarlig störning av människors hälsa eller en allvarlig störning av människors hälsa, eller en allvarlig störning av människors eller djurs hälsa, eller en allvarlig störning av människors eller djurs hälsa, eller en allvarlig störning av människors eller djurs hälsa, eller en allvarlig störning av människors eller djurs hälsa, eller en allvarlig sjukdom eller en allvarlig sjukdom, eller en allvarlig sjukdom eller en allvarlig sjukdom, eller en allvarlig sjukdom eller en allvarlig sjukdom, eller en allvarlig eller en allvarlig sjukdom eller en allvarlig sjukdom, eller en allvarlig eller en allvarlig sjukdom eller en allvarlig sjukdom eller en allvarlig sjukdom, eller en allvarlig eller en allvarlig eller en allvarlig eller en allvarlig sjukdom, eller en allvarlig sjukdom eller en allvarlig eller en allvarlig eller en allvarlig eller en allvarlig eller en allvarlig eller en allvarlig eller en allvarlig eller en allvarlig eller en allvarlig eller en allvarlig eller en allvarlig eller en allvarlig eller en allvarlig eller en allvarlig eller en allvarlig eller en allvarlig, eller en allvarlig, eller en allvarlig, eller en allvarlig, eller en allvarlig, eller en allvarlig, eller en allvarlig, eller en allvarlig, eller en allvarlig, eller en allvarlig, eller en allvarlig, eller en allvarlig, eller en allvarlig, eller en allvarlig, eller en allvarlig, eller en eller en eller en eller en eller en eller en allvarlig, eller en eller en eller en allvarlig, eller en eller en allvarlig eller en allvarlig eller en allvarlig, eller en eller en eller en allvarlig, eller en eller en eller en allvarlig, eller en eller en eller en eller en eller en eller en eller en eller en eller en eller en eller en eller en eller en allvarlig, eller en eller en eller en eller en eller en eller en eller en eller en eller en eller en allvarlig eller en eller en eller en eller en eller en eller en eller en eller en eller en eller en eller en eller en eller en eller en eller en eller en eller en eller en eller en eller en eller en eller en eller en eller en eller en eller en eller en eller en eller en Vi beräknar och tilldelar vikter till individuella kanter i vårt semantiska nätverk (avsnitt 4.1) och visar genom olika experiment den fördel vi får när vi använder denna nya viktade graf (avsnitt 10). Denna förordning träder i kraft den tjugonde dagen efter det att den har offentliggjorts i Europeiska unionens officiella tidning. Vi släpper de lexiska och enhetliga vektor representationerna för fem olika språk (engelska, franska, tyska, italienska och spanska) och inbäddade vektor representationer för det engelska språket på http://lcl. uniroma1.it/nasari/. Utöver dessa bidrag har vi också utformat robusta ramar som möjliggör direkt tillämpning av våra representationer på fyra olika uppgifter: Semantisk Likhet (avsnitt 6), Sense Clustering (avsnitt 7), Domänmärkning Resten av denna artikel är strukturerad enligt följande. Vi ger först en introduktion av några av de mest använda kunskapsresurserna inom lexisk semantik, i Avsnitt 2. Därefter beskriver vi i Avsnitt 3 vår metodik för att omvandla text till lexiska, inbäddade och förenade vektorer. Processen för att erhålla vektorrepresentationer för synsetvektorer genom att utnyttja de kunskapsresurser som beskrivs i avsnitt 2 och metoden för att erhålla vektorer från text som beskrivs i avsnitt 3 presenteras i avsnitt 4. Vi presenterar en sammanfattning av experimenten och utförandet av 70 Nasari över uppgifter i Avsnitt 5. Sedan beskriver vi vissa tillämpningar av vektorerna med sina respektive ramverk och experiment i avsnitten 6 (Semantisk Likhet), 7 (Sense Clustering), 8 (Domain Labeling) och 9 (Word Sense Disambiguation). Vi analyserar prestandan hos olika komponenter i vår modell i Avsnitt 10. Slutligen diskuterar vi det därmed sammanhängande arbetet i avsnitt 11 och lämnar de avslutande kommentarerna i avsnitt 12. Kunskapsresurser Kunskapsresurserna kan delas in i två allmänna kategorier: experter gjorda och gemensamt konstruerade. Varje typ har sina egna fördelar och gränser. Manuellt annoterade resurser har mycket korrekt kodning av begrepp och semantiska relationer mellan dem, men, med några få undantag, är vanligtvis begränsade i sin lexikala täckning, och är vanligtvis endast inriktade på ett specifikt språk. Ett bra exempel är WordNet [84], ett semantiskt nätverk vars grundläggande enheter är synset. En synset representerar ett begrepp som kan uttryckas genom substantiv, verb, 80 adjektiv eller adverbs och består av de olika lexicalizations (dvs. synonymer som används för att uttrycka det). Synsetet i mitten av dagens koncept består till exempel av sex lexikaliseringar: kl. 12.00, kl. 12.00, hög middagstid, middagstid, middagstid. Synset kan också ses som noder i ett semantiskt nätverk. Dessa noder är kopplade till varandra med hjälp av lexiska eller semantiska relationer (hypernymy, meronymy, etc.). Dessa relationer ses som kanterna i WordNets semantiska nätverk. Trots att WordNet är en av de största och mest kompletta manuellt tillverkade lexiska 85 resurserna, saknar WordNet fortfarande täckning av lemmas och sinnen från domänspecifika lexikon (t.ex., juridik eller medicin), namngivna enheter, kreativa slanganvändningar, eller de för teknik som kom till nyligen. Å andra sidan tillhandahåller samarbetsbaserade resurser, såsom Wikipedia, funktioner som flerspråkighet, bred täckning och uppdatering. Från och med september 2015 ger Wikipedia mer än 100K artiklar på över femtio språk. Denna täckning ökar stadigt. Enbart den engelska Wikipedia får 750 90 nya artiklar per dag. Var och en av dessa artiklar ger, för sitt motsvarande koncept, en hel del information i form textinformation, tabeller, infoboxar, och olika relationer (såsom omdirigeringar, disambitioner, och kategorier). Dessa egenskaper har övertygat många forskare under de senaste åren att utnyttja de enorma mängder halvstrukturerad kunskap som finns tillgänglig i sådana samarbetsresurser för olika NLP-tillämpningar [46, 126]. De typer av kunskap som finns i de expertbaserade och gemensamt konstruerade resurserna gör dem kompletterande. Detta har motiverat forskare att kombinera olika lexiska resurser inom de två kategorierna [102, 109]. Ett framträdande exempel är BabelNet [99], som ger en kartläggning av WordNet till ett antal gemensamt konstruerade resurser, inklusive Wikipedia. Strukturen av BabelNet 3 liknar den för WordNet. Synset är de viktigaste språkliga enheterna och är kopplade till andra semantiskt relaterade synset, vars lexikaliseringar är flerspråkiga i detta fall. Till exempel, synset motsvarande Förenta staterna representeras med en uppsättning multilin-100 gual lexicalizations inklusive Förenta staterna EN, och U.S.A. IT på italienska. Förhållandena mellan synsterna är de som kommer från WordNet (hypernymer, hyponymer, etc.).), plus nya relationer som kommer från andra resurser såsom Wikipedia hyperlänkar och WikiData 4 relationer (t.ex. Madrid, Spaniens huvudstad). BabelNet är det största flerspråkiga 105 semantiska nätverket, som innehåller 13.789.332 synset (6.418.418 begrepp och 7.370914 namngivna enheter) och 354,538.633 relationer för 271 språk 5. För det engelska språket innehåller BabelNet 4,403,148 synset med 3 http://babelnet.org/ 200 205 420 datasetet SimLex-999 som vårt senaste riktmärke för utvärdering. Det kompletta SimLex-999 datasetet består av 999 ordpar, varav 666 är substantivpar. Jämförelsesystem. Vi valde toppmoderna metoder som finns tillgängliga online som jämförelsesystem. Dessa system kan delas upp i två kategorier: kunskapsbaserade och corpusbaserade. Som kunskapsbaserade valde vi två tillvägagångssätt baserade på WordNet semantiska grafen: [107, ADW] 13 och [69, Lin] 14. En annan kunskapsbaserad 425 metod är [35, ESA] 15, som representerar ett ord i ett semantiskt utrymme av Wikipedia artiklar. Vi jämförde också våra system med fyra corpus-baserade tillvägagångssätt 16. För det första tog vi de förtränade orden inbäddningar av Word2Vec[82] 17, samma som används för vårt Nasari bäddsystem (se avsnitt 4.2). Sedan tog vi den bästa prediktiva och räkna-baserade 13 ADW-implementationen som finns på https://github.com/pilehvar/ADW 14 Resultat för Lin erhölls från WS4J-implementationen som finns på https://code.google.com/p/ws4j/ 15 ESA-implementation som finns tillgänglig på DKProSimilarity-paketet [7]. 16 Alla de corpus-baserade metoder som nämns i papperet använder cosinus som jämförelsemått. 17 De förutbildade modellerna finns tillgängliga på https://code.google.com/p/word2vek/. De utbildades på en Google News corpus på cirka 100 miljarder ord.
Slutligen kombinerar NASARI REF textbaserade och kunskapsbaserade metoder, vilket ger flerspråkiga vektorrepresentationer.
Nasari : Integrating explicit knowledge and corpus statistics for a multilingual representation of concepts and entities
{'venue': 'Artif. Intell.', 'journal': 'Artif. Intell.', 'mag_field_of_study': ['Computer Science']}