Det är svårt att tillämpa maskininlärning på nya domäner eftersom vi ofta saknar märkta problemfall. I detta dokument tillhandahåller vi en lösning på detta problem som utnyttjar domänkunskap i form av affinitet mellan indatafunktioner och klasser. Till exempel, i en baseball vs. hockey text klassificering problem, även utan någon märkt data, vi vet att närvaron av ordet puck är en stark indikator på hockey. Vi hänvisar till denna typ av domänkunskap som en märkt funktion. I detta dokument föreslår vi en metod för utbildning av diskriminativa probabilistiska modeller med märkta funktioner och omärkta fall. Till skillnad från tidigare metoder som använder märkta funktioner för att skapa märkta pseudo-instances, använder vi märkta funktioner direkt för att begränsa modellens förutsägelser på omärkta instanser. Vi uttrycker dessa mjuka begränsningar med hjälp av generaliserade förväntningar (GE) kriteriertermer i en parameter uppskattning objektiv funktion som uttrycker preferenser på värden av en modell förväntan. I detta papper tränar vi multinomiska logistiska regressionsmodeller med GE-kriterier, men den metod vi utvecklar är tillämplig på andra diskriminativa probabilistiska modeller. Den fullständiga objektiva funktionen inkluderar också en Gaussian tidigare på parametrar, som uppmuntrar generalisering genom att sprida parametervikt till omärkta funktioner. Experimentella resultat på textklassificeringsdata visar att denna metod överträffar heuristiska metoder för utbildningsklassificeringar med märkta funktioner. Experiment med mänskliga annoterare visar att det är mer fördelaktigt att lägga begränsad tid på att märka funktioner i stället för att märka fall. Till exempel, efter bara en minut av märkning funktioner, kan vi uppnå 80% noggrannhet på ibm vs. mac text klassificering problem med GE-FL, medan tio minuter märkning dokument resulterar i en noggrannhet på endast 77%
REF undersökte begränsningar av märkta funktioner inom ramen för GE genom att tvinga modellens förutsedda funktionsfördelning att närma sig referensdistributionen.
Learning from labeled features using generalized expectation criteria
{'venue': "SIGIR '08", 'journal': None, 'mag_field_of_study': ['Computer Science']}