Under det senaste årtiondet har det visat sig att neuroimaging kan vara ett potentiellt verktyg för diagnos av Alzheimers sjukdom (AD) och dess prodromala stadium, Mild Cognitive Impairment (MCI), och även fusion av olika metoder kan ytterligare ge kompletterande information för att förbättra diagnostisk noggrannhet. Här fokuserar vi på problemen med både funktionsrepresentation och fusion av multimodal information från magnetisk resonanstomografi (MRT) och Positronemissionstomografi (PET). Till vår bästa kunskap använde de tidigare metoderna i litteraturen mestadels handgjorda funktioner som kortikal tjocklek, grå materia densiteter från MRT, eller voxel intensiteter från PET, och sedan kombinerade dessa multimodala funktioner genom att helt enkelt konkatenera till en lång vektor eller omvandla till en högre-dimensionell kärna utrymme. I detta dokument föreslår vi en ny metod för en latent och delad funktionsrepresentation på hög nivå från neuroimerande metoder genom djupt lärande. Specifikt använder vi Deep Boltzmann Machine (DBM) 2, ett djupt nätverk med en begränsad Boltzmann maskin som ett byggblock, för att hitta en latent hierarkisk funktion representation från en 3D-plåster, och sedan utforma en systematisk metod för en gemensam funktion representation från de parade fläckar av MRT och PET med en multimodal DBM. För att validera den föreslagna metodens effektivitet utförde vi experiment på ADNI-datauppsättningen och jämförde med de senaste metoderna. I tre binära klassificeringsproblem av AD vs. friska normal kontroll (NC), MCI vs. NC, och MCI Converter vs. MCI icke-konverter, fick vi maximal noggrannhet på 95,35%, 85,67%, respektive 74,58%, överträffar de konkurrerande metoderna. Genom visuell granskning av den utbildade modellen konstaterade vi att den föreslagna metoden hierarkiskt kunde upptäcka de komplexa latenta mönster som ingår i både MRT och PET.
Den maximala noggrannheten på 93,52%, 85,19% för AD vs NC och MCI vs NC erhölls REF.
Hierarchical feature representation and multimodal fusion with deep learning for AD/MCI diagnosis
{'venue': 'NeuroImage', 'journal': 'NeuroImage', 'mag_field_of_study': ['Computer Science', 'Medicine']}