En nyligen genomförd distributionsstrategi för ordanalogiproblem (Mikolov et al., 2013b) utnyttjar intressanta regulariteter i strukturen för representationernas utrymme. Undersöka vidare, finner vi att prestanda på denna uppgift kan relateras till ortogonalitet inom rummet. Uttryckligen utforma sådan struktur i en neural nätverksmodell resulterar i representationer som bryts ner i ortogonala semantiska och syntaktiska subrymder. Vi visar att lärande från ordordning och morfologisk struktur inom engelsk Wikipedia text för att möjliggöra denna nedbrytning kan ge betydande förbättringar av semantisk-similaritet, posinduktion och ordanalogi uppgifter.
Slutligen utnyttjar REF morfologi och ordordningsinformation för att lära sig inbäddningar som bryts ner i ortogonala semantiska och syntaktiska subrymder.
Orthogonality of Syntax and Semantics within Distributional Spaces
{'venue': 'ACL', 'journal': None, 'mag_field_of_study': ['Computer Science']}