En viktig egenskap hos hjärnan är dess förmåga att sömlöst integrera sensorisk information för att bilda en multisensorisk representation av världen. I tidig perceptuell bearbetning, den överlägsna colliculus (SC) tar en ledande roll i att integrera visuella, hörsel- och somatosensory stimuli för att styra ögonrörelser. SC bildar en representation av multisensoriskt utrymme genom en skiktning av retinotopiska kartor som är känsliga för olika typer av stimuli. Dessa ögoncentrerade topografiska kartor kan anpassas till crossmodal stimuli så att SC automatiskt kan ändra vår blick, modereras av kortikal återkoppling. I detta dokument beskriver vi en neural nätverksmodell av SC som består av en hierarki av nio topografiska kartor som kombineras för att bilda en multisensorisk retinotopisk representation av audiovisuellt utrymme. Vår motivering är att utvärdera om en biologiskt rimlig modell av SC kan lokalisera audiovisuella ingångar live från en kamera och två mikrofoner. Vi använder rumslig kontrast och en ny form av temporal kontrast för visuell känslighet, och interaural nivå skillnad för hörselkänslighet. Resultaten är jämförbara med den prestanda som observerats hos katter där samtidiga stimuli är exakt lokaliserade, medan presentation av olika stimuli orsakar en betydande minskning i prestanda. Fördelarna med crossmodal lokalisering visas genom att öka mängden buller till den visuella stimuli till den punkt där audiovisuell lokalisering avsevärt utför visuell-bara lokalisering. Detta arbete visar hur en ny, biologiskt motiverad modell av lågnivå multisensorisk bearbetning kan tillämpas på praktiska, verkliga insatser i realtid, samtidigt som dess jämförbarhet med biologi upprätthålls.
En detaljerad modell av SC presenteras i REF i syfte att lokalisera audiovisuella stimuli i realtid.
Audio-visual localization with hierarchical topographic maps: Modeling the superior colliculus
{'venue': 'Neurocomputing', 'journal': 'Neurocomputing', 'mag_field_of_study': ['Computer Science']}