Curating märkta träningsdata har blivit den primära flaskhalsen i maskininlärning. Nya ramar tar itu med denna flaskhals med generativa modeller för att syntetisera etiketter i skala från svaga övervakningskällor. Den generativa modellens beroendestruktur påverkar direkt kvaliteten på de uppskattade etiketterna, men att välja en struktur automatiskt utan någon märkning av data är en tydlig utmaning. Vi föreslår en strukturuppskattningsmetod som maximerar de observerade uppgifternas 1-regulariserade marginella pseudolikeli. Vår analys visar att mängden omärkta data som krävs för att identifiera de verkliga strukturskalorna sublinjärt i antalet möjliga beroenden för en bred modellklass. Simuleringar visar att vår metod är 100× snabbare än en maximal sannolikhet strategi och väljer 1/4 så många främmande beroenden. Vi visar också att vår metod ger ett genomsnitt på 1,5 F1 poängs förbättring jämfört med befintliga, användarutvecklade applikationer för informationsextraktion på verkliga data såsom PubMed journal abstracts.
Nyligen, Bach et al. REF visade att det är möjligt att lära sig beroendestrukturen bland källor till svag tillsyn med ett urvalskomplex som skalar sig sublinjärt med antalet möjliga parvisa beroenden.
Learning the Structure of Generative Models without Labeled Data
{'venue': 'Proceedings of the 34th International Conference on Machine Learning, Sydney, Australia, PMLR 70, 2017', 'journal': None, 'mag_field_of_study': ['Mathematics', 'Medicine', 'Computer Science']}