Märkning av träningsdata är i allt högre grad den största flaskhalsen när det gäller att distribuera system för maskininlärning. Vi presenterar Snorkel, ett första-of-it-kind-system som gör det möjligt för användare att träna toppmoderna modeller utan handmärkning av träningsdata. Istället skriver användare etiketteringsfunktioner som uttrycker godtyckliga heuristik, som kan ha okända noggrannheter och korrelationer. Snorkel denoises deras outputs utan tillgång till mark sanning genom att införliva den första end-to-end implementeringen av vår nyligen föreslagna maskininlärning paradigm, dataprogrammering. Vi presenterar ett flexibelt gränssnittsskikt för att skriva märkningsfunktioner baserat på vår erfarenhet under det senaste året i samarbete med företag, myndigheter och forskningslabb. I en användarstudie bygger ämnesexperter modeller 2,8× snabbare och ökar prediktiv prestanda i genomsnitt 45,5 % jämfört med sju timmars handmärkning. Vi studerar modellering kompromisser i denna nya inställning och föreslår en optimizer för automatisera kompromissbeslut som ger upp till 1,8× speedup per pipeline utförande. I två samarbeten, med USA: s Department of Veterans Affairs och USA: s Food and Drug Administration, och på fyra open-source text- och bilddata uppsättningar representativa för andra utplaceringar, Snorkel ger 132% genomsnittliga förbättringar för att förutsäga prestanda över tidigare heuristiska metoder och kommer inom ett genomsnitt 3,60% av den prediktiva prestandan för stora handkurerade träningsset.
Snorkel är ett system som möjliggör användning av svag övervakning baserad på dataprogrammeringsparadigmet REF.
Snorkel: Rapid Training Data Creation with Weak Supervision
{'venue': 'Proceedings of the VLDB Endowment, 11(3), 269-282, 2017', 'journal': None, 'mag_field_of_study': ['Mathematics', 'Medicine', 'Computer Science']}