Medan neurala nätverk har framgångsrikt applicerats på många NLP uppgifter de resulterande vektor-baserade modeller är mycket svåra att tolka. Till exempel är det inte klart hur de uppnår kompositionalitet, att bygga meningar från ordens och frasernas betydelser. I denna uppsats beskriver vi fyra strategier för att visualisera kompositionalitet i neurala modeller för NLP, inspirerade av liknande arbete i datorseende. Vi ritar först enhetsvärden för att visualisera sammansättningen av negation, intensifiering, och koncessiva klausuler, tillåter oss att se välkända märkvärdighet asymmetries i negation. Vi introducerar sedan tre metoder för att visualisera en enhets hälsa, den mängd det bidrar till den slutliga sammansatta betydelsen: (1) lutning bakåt-förökning, (2) variansen av en token från den genomsnittliga ordet nod, (3) LSTM-stil grindar som mäter informationsflödet. Vi testar våra metoder på känslor med hjälp av enkla återkommande nät och LSTMs. Våra generella metoder kan ha breda tillämpningar för att förstå kompositionalitet och andra semantiska egenskaper hos djupa nätverk, och även belysa varför LSTM:er överträffar enkla återkommande nät,
Det senaste arbetet av Li et al. REF fokuserar på att visualisera sammansättningen (bygga meningsmening från ordens och frasernas betydelser) av vektorbaserade modeller.
Visualizing and Understanding Neural Models in NLP
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}