Processering av naturligt språk har gjort betydande framsteg i att lära sig ordsemantik genom fördelningsmetoder, men representationer som man lärt sig via dessa metoder lyckas inte fånga vissa typer av information implicit i den verkliga världen. I synnerhet är rumsliga relationer kodade på ett sätt som är oförenligt med människans rumsliga resonemang och saknar variation till synförändringar. Vi presenterar ett system som kan fånga semantiken av rumsliga relationer som bakom, vänster av, etc från naturligt språk. Våra viktigaste bidrag är ett nytt multimodalt mål som bygger på att skapa bilder av scener från deras textbeskrivningar, och en ny datauppsättning att träna den på. Vi visar att interna representationer är robusta för att innebära att bevara omvandlingar av beskrivningar (parafras invariance), medan synsätt invariance är en framväxande egenskap i systemet.
För REF introducerar det ett system som är kapabelt att fånga semantik av rumsliga relationer i naturligt språk med hjälp av det neurala nätverket. Men ingen av ovanstående ger användarna ett gränssnitt för att interagera med databasen.
Encoding Spatial Relations from Natural Language
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}