I detta dokument föreslås en allmän ram för att kombinera kontext och allmän kunskap för att lösa problemen med att lösa Wiengrad Schema (WS) och Pronomen Disambiguation (PDP). Inom den föreslagna ramen, allmänna kunskapsbaser (t.ex. Orsak-effekt ordpar) kvantifieras som kunskapsbegränsningar. Restriktionerna hjälper oss att lära oss kunskapshöjande inbäddningar (KEE) från stora textkorpus. Med utgångspunkt i de förutbildade KEE-modellerna föreslår detta dokument två metoder för att lösa WS- och PDP-problemen. Den första metoden är en oövervakad metod, som representerar alla pronomen och kandidat nämner i kontinuerliga vektorrymder baserat på deras sammanhang och beräknar de semantiska likheterna mellan alla möjliga ordpar. Pronomenets disambitionsförfarande skulle sedan kunna genomföras genom att jämföra de semantiska likheterna mellan pronomenet (som skall lösas) och alla kandidaten nämner. Den andra metoden är en övervakad metod, som extraherar funktioner för alla pronomen och kandidat nämner och löser WS problem genom att träna en typisk nämna par klassificering modell. I likhet med den första metoden extraheras även de egenskaper som används i den andra metoden utifrån KEE-modellerna. Experiment som utförs på tillgängliga PDP- och WS-testuppsättningar visar att dessa två metoder båda uppnår konsekventa förbättringar jämfört med baslinjesystemen. Den bästa prestandan når 62% i noggrannhet på PDP test uppsättningen av den första Winograd Schema Challenge. Under de senaste åren har många AI utmaningar eller tävlingar föreslagits för att hjälpa till att utvärdera kognitiva nivåer av maskiner (Levesque, Davis, och Morgenstern 2011; Weston et al. 2015; Clark 2015)................................................................ Bland dessa utmaningar har Winograd Schema Challenge (WSC) föreslagits som ett alternativ till Turing Test (Levesque, Davis och Morgenstern 2011). Turing introducerade först idén om att testa ett datorsystems intelligens genom att bedöma om det kunde få en mänsklig domare att tro att hon samtalade med en människa snarare en dator (Turn 1950). Men vissa senaste ansträngningar har bara på engagerade ytliga samtal tricks för att lura människor som inte gräva djupt nog i en konversation, och få dem att tro att de talar till en annan människa ( Veselov, Demchenko, och Ulasen ; Warwick och Shah 2014). För att lösa denna fråga, WSC påstås vara en mer lämplig uppgift som inte förlitar sig på människans Copyright c 2017 subjektiv bedömning. En Winograd schema (WS) fråga är ett par meningar som skiljer sig bara i ett eller två ord som resulterar i en annan resolution av coreferens. Ett välkänt exempel är "Kommunfullmäktige vägrade demonstranterna tillstånd eftersom de fruktade våld", där "de" hänvisar till rådet. Men om man ändrar verbet "rädd" till "uppropad", behöver datorn veta att "de" hänvisar till "demonstrator", om den har verklig intelligens. För att lösa problemet är det nödvändigt med kunskap om sunt förnuft. För att lösa den slutliga lösningen för WS problem, en liknande test uppsättning, kallas pronomen disambigation problem (PDP) är utformad som den första omgången av Winograd Schema Challenge (Morgenstern, Davis, och Ortiz Jr 2016). Ett typiskt exempel är "Mrs March gav modern te och välling, medan hon klädde det lilla barnet lika ömt som om det hade varit hennes eget." Ett sätt att resonera som hon i hon klädd hänvisar till fru March och inte modern, är att inse att uttrycket "som om det vore hennes eget" antyder att det (barnet) faktiskt inte är hennes egen; det vill säga, hon är inte modern och måste, genom elimineringsprocessen, vara fru March. I likhet med Wiengrad-schemat tycks det vara nödvändigt med en betydande mängd allmängiltig kunskap för att kunna disambiguera pronomen. I detta dokument föreslås neurala nätverksmodeller för att kombinera kontext och allmängiltig kunskap för att lösa både WS- och PDP-problem. De viktigaste idéerna är tvåfaldiga: 1) Den första är att utnyttja sammanhanget på ett effektivt sätt. Vi anser att eftersom sammanhanget är en nyckelinformation för att lära sig ordbetydelser, bör det vara användbart för att reda ut problemen med Wiengradschemat. I allmänhet skulle modellering av sammanhang och inlärning av ordbetydelser kunna vara mycket effektiva genom oövervakat lärande som utnyttjar stora mängder fria texter. 2) I det sunda förnuftet beskriver vi en enkel men effektiv metod som utnyttjar den allmänna kunskapen. För att gemensamt ta hänsyn till dessa två aspekter föreslås i detta dokument att man kombinerar kontext och allmängiltig kunskap genom neurala nätverk genom ett kunskapsstärkt ramverk (KEE). I detta dokument föreslås dessutom två metoder: 1) Den första är en oövervakad semantisk likhetsmetod (USSM), som representerar alla pronomen och kandidat nämner genom att komponera sina sammanhang baserade på de förträngda kunskapshöjande inbäddningarna. Vi beräknar sedan de semantiska likheterna mellan pronomenets inbäddade vektorer och alla kandidatnamn. Den kandidat med störst semantisk likhet med avseende på arXiv:1611.04146v1 [cs.AI] 13 Nov 2016 pronomen kommer att förutsägas som svaret. 2) Den andra metoden är en neural kunskap aktiverad metod (NKAM), som extraherar funktioner baserade på KEE-modeller och tränar ett omnämnande par klassificerare med neurala nätverk. För experimentavsnittet utför detta dokument experiment på de officiella datauppsättningarna för den första WSC-utmaningen, inklusive PDP-testuppsättningen som tillhandahålls av commonsenserimeling.org, samt en uppsättning Winogradscheman som skapas manuellt av (Levesque, Davis, och Morgenstern 2011). Alla försöksresultat tyder på att den föreslagna KEE-metoden (kompletterande kontext och kunskap) presterar bättre jämfört med referensmodellerna. Resten av dokumentet inleds med att huvudmotiveringen införs. Därefter inför vi de viktigaste metoder som föreslås för att lösa WS- och PDP-problemen. Vi presenterar sedan alla experiment, inklusive installation, datauppsättningar och resultat, innan vi avslutar detta arbete. I detta avsnitt presenterar vi huvudmotiveringen till detta arbete. Vi kommer först och främst att presentera de viktigaste problem som vi vill lösa, dvs. Wiengrad-schemat (WS) och Pronomen-disambitionsproblemet (PDP). Därefter skulle detaljerade beskrivningar ges för att illustrera vår motivation. Den Winograd schema (WS) utvärderar ett systems allmängiltiga resonemang förmåga baserat på en traditionell, mycket specifik naturligt språk bearbetning uppgift: coreferens resolution (Saba 2015). WS-problemen är noggrant utformade för att vara en uppgift som inte lätt kan lösas utan allmän kännedom. Faktum är att även lösningen av traditionella problem med samreferenslösning bygger på semantik eller världskunskap (Strube 2016). Som beskrivs i (Levesque, Davis, och Morgenstern 2011), en WS är en liten läsförståelse test som omfattar en enda binär fråga. • Joan såg till att tacka Susan för all den hjälp hon hade gett. Vem hade gett hjälp? -Svar A: Joan -Svar B: Susan -Korrect Svar: B De rätta svaren på ovanstående fråga är uppenbara för människor. I var och en av frågorna, motsvarande WS har följande fyra funktioner: 1. Två parter nämns i en mening med substantivfraser. De kan vara två hanar, två honor, två livlösa föremål eller två grupper av människor eller föremål. 2. Utgångspunkten är följande: Ett pronomen eller possitivt adjektiv används i meningen med hänvisning till en av parterna, men är också av det rätta slaget för den andra parten. 3. Vad är det som händer? Frågan handlar om att avgöra pronomenets eller adjektivets referens. Svar A är alltid den första parten som nämns i meningen (men upprepas från meningen för tydlighet), och Svar B är den andra parten. 4. Vad är det som händer? Det finns ett ord (kallat det speciella ordet) som förekommer i meningen och möjligen frågan. När det ersätts av ett annat ord (kallas det alternativa ordet), är allt fortfarande helt logiskt, men svaret ändras. I detta exempel, om vi ändrar ordet som ges till fått, svaret ändras till A (dvs. Joan) eftersom i vår allmänna kännedom, anser vi att en person som får hjälp bör se till att tacka den person som ger hjälp till honom. Pronomenet disambigation problem (PDP) är komplexa coreferens resolution problem, som tas direkt eller modifieras från exempel som finns i litteratur, biografier, autobiografier, essäer, nyhetsanalyser och nyheter; de kan behöva någon manuell bearbetning (Morgenstern, Davis, och Ortiz Jr 2016). Här är ett typiskt PDP exempel: • Dakota prärien låg så varmt och ljust under den lysande solen att det inte verkade möjligt att det någonsin hade svepts av vindar och snöer under den hårda vintern. -Snippet: det hade någonsin sopats -Svar A: prärien -Svar B: solen -Korrect Svar: A I PDP-problemet, den pronomen som ska lösas markeras i fetstil. Det upprepas igen, med en text av sammanhang, och med flera kandidat svar, i raden efter passagen. I exemplet som visas här vet vi att prärien (snarare än solen) skulle vara mer benägna att svepas av vindarna. En skillnad mellan PDP- och WS-problem är att antalet substantivfraser i varje PDP-problem inte alltid skulle vara två, utan kan vara tre, fyra eller ännu fler. Därför kommer den slumpmässiga noggrannheten i PDP-problemen att vara mindre än 50 % medan noggrannheten hos en slumpmässig gissning för WS är 50 %. Att lösa WS- eller PDP-problem är inte lätt eftersom det kräver allmängiltig kunskap. I tidningen föreslår vi att man kombinerar kontext och allmängiltig kunskap genom neurala nätverk för att lösa båda problemen. Huvudmotivationen beskrivs på följande sätt: För det första, eftersom sammanhanget är nyckeln till att lära sig ordbetydelse (Harris 1954, Miller och Charles 1991) representerar vi pronomenet och alla kandidater nämner i sina sammanhang. I det här exemplet representerar vi till exempel ordet prärie av Dakota och ligger så varmt och ljust. Under tiden kunde ordet sol representeras av och ljust under skenet och att det inte verkade. På grundval av detta löses pronomenets disambitionsproblem genom att man beräknar de semantiska likheterna mellan pronomenets representationer och alla motsvarande kandidater. För det andra räcker det inte med att bara förlita sig på sammanhanget för att ta itu med WS- och PDP-problemen. Det är viktigt att hitta en effektiv strategi för att kombinera kontext och allmängiltig kunskap. Därför föreslår vi i detta dokument en kunskapsbaserad modell för inbäddning (KEE). Som visas i figur 1.
Den nuvarande bästa metoden använder sig av hoppa-gram modellen för att lära ord representationer REF.
Combing Context and Commonsense Knowledge Through Neural Networks for Solving Winograd Schema Problems.
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}