Maskininlärning är ett område inom datavetenskap som bygger algoritmer som lär sig. I många fall, maskininlärning algoritmer används för att återskapa en mänsklig förmåga som att lägga till en bildtext till ett foto, köra en bil, eller spela ett spel. Medan den mänskliga hjärnan länge har tjänat som inspirationskälla för maskininlärning, har små ansträngningar gjorts för att direkt använda data som samlats in från arbetande hjärnor som vägledning för maskininlärningsalgoritmer. Här demonstrerar vi ett nytt paradigm av "neuralt-viktad" maskininlärning, som tar fMRI-mätningar av mänsklig hjärnaktivitet från personer som tittar på bilder, och ingjuter dessa data i utbildningsprocessen för en objektigenkänning lärande algoritm för att göra det mer förenligt med den mänskliga hjärnan. Efter träning, dessa neuralt-viktade klassificerare kan klassificera bilder utan att kräva några ytterligare neurala data. Vi visar att vår neural-viktning strategi kan leda till stora prestandavinster när den används med traditionella maskinseende funktioner, samt till betydande förbättringar med redan högpresterande konvolutionella neurala nätverksfunktioner. Effektiviteten av detta tillvägagångssätt pekar på en väg framåt för en ny klass av hybrid maskininlärning algoritmer som tar både inspiration och direkta begränsningar från neuronala data. De senaste åren har sett en renässans i maskininlärning och maskinseende, ledd av neurala nätverksalgoritmer som nu uppnå imponerande prestanda på en mängd olika utmanande objektigenkänning och bildförståelse uppgifter 1-3. Trots dessa snabba framsteg fortsätter prestandan hos algoritmer för maskinseende att spåra människor inom många nyckelområden, och uppgifter som kräver att fungera med begränsade träningsdata eller i mycket belamrade scener är särskilt svåra för nuvarande algoritmer 4-7. Dessutom, mönster av fel som gjorts av dagens algoritmer skiljer sig dramatiskt från de av människor som utför samma uppgifter 8,9, och aktuella algoritmer kan " luras" genom subtilt ändra bilder på sätt som är omärkliga för människor, men som leder till godtyckliga felklassificeringar av objekt 10-12. Således, även när algoritmer gör bra ifrån sig på en viss uppgift, de gör det på ett sätt som skiljer sig från hur människor gör det och det är utan tvekan mer sprött. Den mänskliga hjärnan är en naturlig referensram för maskininlärning, eftersom den har utvecklats till att fungera med extraordinär effektivitet och noggrannhet i komplicerade och tvetydiga miljöer. Dagens bästa algoritmer för inlärningsstruktur i data är faktiskt artificiella neurala nätverk [13] [14] [15], och strategier för beslutsfattande som inkluderar kognitiva modeller av Bayesian resonemang 16 och exemplar lärande 17 är allmänt förekommande. Det finns också växande överlappning mellan maskininlärning och fälten neurovetenskap och psykologi: I en riktning, lärande algoritmer används för fMRI avkodning 18-21, neural respons förutsägelse 22-26, och hierarkisk modellering 27-29. Samtidigt är maskininlärning algoritmer också utnyttja biologiska begrepp som arbetsminne 30, erfarenhet replay 31, och uppmärksamhet 32, 33 och uppmuntras att låna mer insikter från den inre fungerar i den mänskliga hjärnan 34. Här föreslår vi en ännu mer direkt koppling mellan dessa fält: vi frågar om vi kan förbättra maskininlärningsalgoritmer genom att uttryckligen vägleda deras träning med mätningar av hjärnaktivitet, med målet att göra algoritmerna mer mänskliga-liknande. Vår strategi är att partiska lösningen av en maskin lärande algoritm så att det närmare matchar de interna representationer som finns i visuell cortex. Tidigare studier har begränsat lärda modeller via mänskligt beteende 8, 35, och ett arbete introducerade en metod för att bestämma en kartläggning från bilder till "hjärnliknande" funktioner extraherade från EEG inspelningar 36. Dessutom har de senaste framstegen inom maskininlärning fokuserat på att förbättra funktionsrepresentation, ofta på ett biologiskt konsekvent sätt 26, av olika typer av data. Men ingen studie hittills har utnyttjat mätningar av hjärnaktivitet för att vägleda beslutsfattandet av maskininlärning. Medan
Författarna till REF använde fMRI-data för att förvränga utdata från en maskininlärningsalgoritm och skjuta på den för att utnyttja representationer som finns i visuell cortex.
Using human brain activity to guide machine learning
{'venue': 'Scientific Reports', 'journal': 'Scientific Reports', 'mag_field_of_study': ['Computer Science', 'Medicine']}