Icke-kompositionalitet av multiword uttryck är ett spännande problem som kan vara källan till fel i en mängd olika NLP uppgifter såsom språkgenerering, maskinöversättning och ordförnimmelse disambiguation. Vi presenterar metoder för icke-kompositionalitet upptäckt för engelska substantiv föreningar med hjälp av oövervakad inlärning av en semantisk sammansättning funktion. Föreningar som inte är väl modellerade av den lärda semantiska sammansättningsfunktionen betraktas som icke-kompositionella. Vi utforskar en rad modeller för spridningsvektor-rymd för semantisk sammansättning, empiriskt utvärderar dessa modeller och föreslår ytterligare metoder som förbättrar resultaten ytterligare. Vi visar att en komplex funktion som polynom projektion kan lära semantisk sammansättning och identifiera icke-kompositionalitet på ett oövervakat sätt, slå alla andra baslinjer från enkla till komplexa. Vi visar att upprätthålla sparsitet är en användbar regularizer för att lära komplexa sammansättningsfunktioner. Vi visar ytterligare förbättringar genom att träna en nedbrytningsfunktion utöver kompositionsfunktionen. Slutligen föreslår vi en EM-algoritm över latenta kompositionsnoteringar som också förbättrar prestandan.
I ett försök nyligen försöker REF att lära semantisk sammansättning och finner att komplexa funktioner som polynom projektion och neurala nätverk kan modellera semantisk sammansättning mer effektivt än den allmänt använda additiv och multiplikativa funktioner.
Learning Semantic Composition to Detect Non-compositionality of Multiword Expressions
{'venue': 'EMNLP', 'journal': None, 'mag_field_of_study': ['Computer Science']}