Sammanfattning Vi bevisar teoretiska garantier för ett medelvärde av slumpmässigt projicerade Fisher linjära discriminant klassificerare, med fokus på fallet när det finns färre träningsobservationer än datamått. Den specifika formen och enkelheten hos denna ensemble möjliggör en direkt och mycket mer detaljerad analys än befintliga generiska verktyg i tidigare verk. I synnerhet kan vi härleda den exakta formen av generalisering fel i vår ensemble, beroende på utbildningen uppsättning, och baserat på detta ger vi teoretiska garantier som direkt kopplar utförandet av ensemblen till motsvarande linjära diskriminant inlärda i det fulla datautrymmet. Såvitt vi vet är detta de första teoretiska resultaten som bevisar en sådan tydlig länk för alla klassificerare och klassificerare ensemblepar. Dessutom visar vi att den slumpmässigt projicerade ensemblen är likvärdig med att implementera ett sofistikerat legaliseringsschema till det linjära diskriminant inlärt i det ursprungliga datautrymmet och detta förhindrar övermontering i förhållanden av liten provstorlek där pseudo-invers FLD lärt sig i datautrymmet är bevisligen dålig. Vår ensemble är lärd från en uppsättning slumpmässigt projicerade representationer av de ursprungliga högdimensionella data och därför för denna metod data kan samlas in, lagras och bearbetas i en sådan komprimerad form. Vi bekräftar våra teoretiska resultat med experiment, och visar nyttan av vår strategi för flera datauppsättningar från bioinformatikdomänen och en mycket högdimensionell datauppsättning från drogupptäcktsdomänen, båda miljöer där färre observationer än dimensioner är normen.
Felgränser har härletts som visar att prestandan för den slumpmässiga prognosmetoden är bättre än klassificeringen över den högdimensionella ursprungliga datarymden REF.
Random projections as regularizers: learning a linear discriminant from fewer observations than dimensions
{'venue': 'Machine Learning', 'journal': 'Machine Learning', 'mag_field_of_study': ['Mathematics', 'Computer Science']}