I detta dokument studerar vi problemet med att kartlägga instruktioner för naturligt språk till komplexa rumsliga åtgärder i en 3D-blockvärld. Vi introducerar först en ny datauppsättning som parar komplexa 3D rumsliga operationer till rika naturliga språkbeskrivningar som kräver komplexa rumsliga och pragmatiska tolkningar såsom "mirrering", "twisting", och "balansering". Denna datauppsättning, som bygger på simuleringsmiljön Bisk, Yuret och Marcu (2016), når språk som är betydligt rikare och mer komplex, samtidigt som den fördubblar storleken på den ursprungliga datauppsättningen i 2D-miljön med 100 nya världskonfigurationer och 250.000 polletter. Dessutom föreslår vi en ny neural arkitektur som uppnår konkurrenskraftiga resultat samtidigt som vi automatiskt upptäcker en inventering av tolkningsbara rumsliga operationer (figur 5). Motivering
Mer allmänt, Bisk et al. REF studerade visuellt resonemang i en 3D-blockvärld.
Learning Interpretable Spatial Operations in a Rich 3D Blocks World
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}