Stora, märkta utbildningsset är de kritiska byggstenarna i övervakade inlärningsmetoder och är viktiga möjliggörare av djupinlärningsteknik. För vissa tillämpningar är att skapa märkta träningsset den mest tidskrävande och dyra delen av att tillämpa maskininlärning. Vi föreslår därför ett paradigm för det programmatiska skapandet av utbildningsset som kallas dataprogrammering där användarna tillhandahåller en uppsättning märkningsfunktioner, som är program som heuritiskt märker stora delmängder av datapunkter, om än noisily. Genom att betrakta dessa märkningsfunktioner som en implicit beskrivning av en generativ modell för detta buller, visar vi att vi kan återställa parametrarna för denna modell för att "denoise" träningssetet. Sedan visar vi hur man modifierar en discriminativ förlust funktion för att göra det buller-medveten. Vi demonstrerar vår metod över en rad olika diskriminativa modeller inklusive logistisk regression och LSTMs. Vi etablerar teoretiskt att vi kan återställa parametrarna för dessa generativa modeller i en handfull inställningar. Experimentellt, på 2014 TAC-KBP relation extraktion utmaning, visar vi att dataprogrammering skulle ha fått en vinnande poäng, och också visa att tillämpa dataprogrammering till en LSTM-modell leder till en TAC-KBP poäng nästan 6 F1 poäng över en övervakad LSTM baslinje (och till andra plats i tävlingen). Dessutom konstaterade vi i de första användarstudierna att dataprogrammering kan vara ett enklare sätt att skapa maskininlärningsmodeller för icke-experter.
Dataprogrammering använder märkningsfunktioner (användardefinierade program som tillhandahåller etiketter för undergrupper av data) REF.
Data Programming: Creating Large Training Sets, Quickly
{'venue': 'Advances in Neural Information Processing Systems 29, 2016, 3567--3575', 'journal': None, 'mag_field_of_study': ['Computer Science', 'Mathematics', 'Medicine']}