Mänsklig kommunikation ansikte mot ansikte är i huvudsak audiovisuell. Vanligtvis pratar folk med oss ansikte mot ansikte, vilket ger samtidig hörsel och visuell input. Att förstå någon är lättare när det finns visuell input, eftersom visuella signaler som mun och tunga rörelser ger kompletterande information om talinnehåll. Här antog vi att hjärnan, även i avsaknad av visuell inmatning, optimerar både hörsel- och högtalarigenkänning genom att skörda högtalare-specifika förutsägelser och begränsningar från distinkta visuella ansikte-bearbetningsområden. För att testa denna hypotes utförde vi beteendemässiga och neuroimaging experiment i två grupper: personer med en ansiktsigenkänning underskott (prosopagnosia) och matchade kontroller. Resultaten visar att observera en specifik person som talar i 2 minuter förbättrar efterföljande hörsel-bara tal och talarigenkänning för denna person. I både prosopagnosics och kontroller, beteendeförbättring i hörsel-bara taligenkänning baserades på ett område som typiskt är involverat i ansikts-rörelse bearbetning. Förbättring av talarigenkänningen förekom endast i kontrollerna och baserades på ett område som var involverat i behandlingen av ansiktsidentiteter. Dessa fynd utmanar de nuvarande ensensoriska modellerna för talbehandling, eftersom de visar att hjärnan i tal som enbart hörs utnyttjar tidigare kodade audiovisuella korrelationer för att optimera kommunikationen. Vi föreslår att denna optimering baseras på högtalare-specifika audiovisuella interna modeller, som används för att simulera en talande ansikte. fMRI  och multisensorisk  och prediktiv kodning  på prosopagnosia H uman face-to-face kommunikation fungerar bäst när man kan titta på högtalarens ansikte (1). Detta blir uppenbart när någon talar till oss i en bullrig miljö, där ljudsignalen bryts ner. Visuella signaler begränsar vad vår hjärna förväntar sig att uppfatta i hörselkanalen. Dessa visuella begränsningar förbättrar igenkännandegraden för audiovisuellt tal, jämfört med enbart hörseltal (2). På samma sätt kan röstigenkänningen av talarens identitet förbättras genom samtidig visuell information (3). Följaktligen, audiovisuella modeller av mänsklig röst och ansikte uppfattning posit att det finns interaktioner mellan hörsel- och visuell bearbetningsströmmar (Fig. 1A) (4, 5).............................................................................................. Baserat på tidigare experiment (6-8) och teoretiskt arbete (9-12) antog vi att även i avsaknad av visuell input optimerar hjärnan enbart hörsel- och högtalarigenkänning genom att skörda förutsägelser och begränsningar från olika synområden (Fig. 1B)................................................................................................ Experimentella studier (6, 8) visade att identifieringen av en talare med röst förbättras efter en kort audiovisuell erfarenhet med den talaren (i motsats till en matchad kontroll villkor). Förbättringseffekten åtföljdes av en interaktion mellan röst- och ansiktsidentitetskänsliga områden (8). Detta konstaterande tydde på att ett visst ansiktes associativa representation gör det lättare för den personen att känna igen sig genom sin röst. Det är dock oklart om denna effekt även omfattar andra audiovisuella beroenden i den mänskliga kommunikationen. Ett sådant konstaterande, till exempel när det gäller taligenkänning, skulle tyda på att hjärnan fyller in information som saknas rutinmässigt för att göra hörselkommunikationen mer robust. För att testa denna hypotes ställde vi följande fråga: Vad gör hjärnan när vi lyssnar på någon som vi tidigare har sett tala? Klassiska talbehandling modeller (den ''Auditory-only'' modell) förutspår att hjärnan använder hörsel-endast bearbetning förmåga att känna igen tal och högtalare (13, 14). Enligt modellen "audiovisuell" förutsätter vi att hjärnan använder tidigare inlärd audiovisuell högtalarspecifik information för att förbättra erkännandet av både tal och talare (Fig. 1B)................................................................................................ Även utan visuell ingång, ansikte-bearbetning områden kunde använda kodad kunskap om den visuella orofacial kinetik av prata och simulera en specifik högtalare för att göra förutsägelser om banan av vad som hörs. Denna visuella online-simulering skulle innebära användbara begränsningar för hörselförnimmelsen för att förbättra taligenkänningen genom att lösa auditiva tvetydigheter. Denna konstruktöristiska uppfattning har visat sig användbar för att förstå människans vision (15, 16) och kan vara ännu starkare i samband med integration av tidigare multimodal information. Att identifiera en sådan mekanism i taluppfattningen skulle inte bara ha omedelbara konsekvenser för den ekologiska giltigheten hos ljudbara modeller för taluppfattning utan skulle också peka på en allmän princip om hur hjärnan klarar av bullriga och saknade uppgifter i mänsklig kommunikation. Talet och talarens erkännande vilar till stor del på två olika uppsättningar audiovisuella samband. Taligenkänningen är huvudsakligen baserad på snabba tidsvarierande akustiska signaler som produceras av de olika stämbandsformerna, dvs. orofaciala rörelser (17, 18). Omvänt använder högtalarigenkänning främst tidsinvarianta egenskaper i talsignalen, såsom de akustiska egenskaperna hos stämbandslängden (19). Om hjärnan använder lagrad visuell information för att bearbeta enbart hörselspråk, kan den relativa förbättringen av tal- och högtalarigenkänningen därför vara beteendemässigt och neuroanatomiskt dissociabel. För att undersöka denna potentiella dissociation rekryterade vi prosopagnosics som har nedsatt perception av ansikte identitet men verkar ha intakt perception av orofacial rörelser (20). Neurofysiologiska ansiktsbehandlingsstudier visar att olika hjärnområden är specialiserade för att bearbeta tidsvarierande information [faciala rörelser, överlägsen temporal sulcus (STS)
På liknande sätt undersökte författarna till REF i neurovetenskapen hur ansiktsnyttan påverkade tal- och talarigenkänningen.
Simulation of talking faces in the human brain improves auditory speech recognition.
{'venue': 'Proceedings of the National Academy of Sciences of the United States of America', 'journal': 'Proceedings of the National Academy of Sciences of the United States of America', 'mag_field_of_study': ['Medicine', 'Computer Science']}