Inkorporerande funktionsval i en klassifierings- eller regressionsmetod medför ofta ett antal fördelar. I detta dokument formaliserar vi urval specifikt ur ett diskriminerande perspektiv av att förbättra klassifiering/regression noggrannhet. Utmärkande urvalsmetoden utvecklas som en utvidgning till den nyligen föreslagna ramen för maximal entropidiskriminering. Vi beskriver MED som en flexibel (bayesian) regelbunden ialiseringsmetod som subsumes, t.ex., stödja vektorklassificering, regression och exponen tial familj modeller. När det gäller korthet begränsar vi oss i första hand till urval inom ramen för linjära klassificerings- och regressionsmetoder och visar att det föreslagna tillvägagångssättet verkligen medför betydande förbättringar i praktiken. Dessutom diskuterar och utvecklar vi olika utvidgningar av funktionen, bland annat problemet med att ta itu med exempel på specifika men oobserverade grad av frihet -anpassningar eller invarianter. [4, 6, 14].................................................... Vi tillhandahåller ytterligare en kontaktpunkt i det aktuella dokumentet. Fokus i detta dokument ligger på urval av funktioner. Problemet med urvalet kan vara att hitta strukturen för en grafisk modell (som i [12] ) eller att identifiera en uppsättning komponenter i de indataexempel som är relevanta för en klassificeringsuppgift. Mer allmänt kan fakultativt urval ses som ett problem med att ställa in diskreta strukturella parametrar i samband med en specific klassificering eller regressionsmetod. Vi stöder här åsikten att val av funktioner inte bara är för att minska den beräkningsbelastning som är förknippad med en hög dimension klassificering eller regressionsproblem, men kan skräddarsys främst för att förbättra förutsägelse accuracy ( cf. [9] )................................................................................................................ Detta perspektiv utesluter ett antal annars användbara metoder för urval av funktioner, t.ex. filtreringsmetod som fungerar oberoende av den klassificeringsuppgift/metod som finns till hands. Linjär classi fiers, till exempel, införa strikta begränsningar om _ den typ av funktioner som är alls användbara. Sådana begränsningar bör ingå i den objektiva funktion som styr urvalsprocessen. Den form av funktionsval vi utvecklar i detta papper resulterar i en typ av funktion viktning. Varje egenskap eller strukturell parameter är associerad med ett probabil it-värde. Funktionsvalsprocessen översätter till att uppskatta den mest diskriminativa sannolikhetsfördelningen över de strukturella parametrarna. Irrelevanta fea tures får snabbt låga om än icke-noll sannolikheter för att bli vald. Vi betonar att selekteringen sker gemensamt och diskriminativt tillsammans med uppskattningen av specifi c-klassificeringen eller regressionsmetoden. Denna typ av funktionsval är, kanske förvånande, mest fördelaktig när antalet övningsexempel är relativt litet jämfört med deras dimensionalitet. Tidningen är organiserad enligt följande. Vi börjar med att ta fram den diskriminativa maximala entropiramen ur legaliseringsteorins synvinkel. Vi explicerar sedan hur man löser klassificerings- och regressionsproblem i samband med maximal entropi
I REF utvecklades slutligen en metod för urval av funktioner som en utvidgning till den så kallade maximala entropidiskrimineringen, dvs. ur ett diskriminativt (probabilistiskt) perspektiv.
Feature Selection and Dualities in Maximum Entropy Discrimination
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}