Djup oövervakad inlärning i stokastiska återkommande neurala nätverk med många lager av dolda enheter är ett nyligen genombrott i neural beräkning forskning. Dessa nätverk bygger en hierarki av gradvis mer komplexa distribuerade representationer av sensoriska data genom att montera en hierarkisk generativ modell. I den här artikeln diskuterar vi de teoretiska grunderna för detta tillvägagångssätt och vi går igenom nyckelfrågor relaterade till utbildning, testning och analys av djupa nätverk för modellering av språk och kognitiv bearbetning. Det klassiska bokstavs- och orduppfattningsproblemet hos McClelland och Rumelhart (1981) används som ett handledningsexempel för att illustrera hur strukturerade och abstrakta representationer kan uppstå ur djupt generativt lärande. Vi hävdar att fokuseringen på djupa arkitekturer och generativt (snarare än diskriminerande) lärande utgör ett avgörande steg framåt för den connectist modellering företag, eftersom det erbjuder en mer rimlig modell för kortikalt lärande samt ett sätt att överbrygga klyftan mellan framväxande kontaktist modeller och strukturerade Bayesian modeller av kognition.
Deep learning approachs har nyligen tillämpats på modellering av språk och kognitiv bearbetning, visar hur strukturerade och abstrakta representationer kan uppstå på ett oövervakat sätt från sensoriska data, genom generativ inlärning i djupa neurala nätverk (för en översikt se REF ).
Modeling language and cognition with deep unsupervised learning: a tutorial overview
{'venue': 'Front. Psychol.', 'journal': None, 'mag_field_of_study': ['Computer Science', 'Medicine']}