Djupt lärande har framträtt som ett mångsidigt verktyg för ett brett spektrum av NLP-uppgifter, på grund av dess överlägsna förmåga att företräda lärande. Men dess tillämplighet begränsas av att man förlitar sig på kommenterade exempel, som är svåra att framställa i stor skala. Indirekt övervakning har visat sig vara en lovande riktning för att ta itu med denna flaskhals, antingen genom att införa märkningsfunktioner för att automatiskt generera bullriga exempel från omärkt text, eller genom att införa restriktioner för ömsesidigt beroende märkningsbeslut. En uppsjö av metoder har föreslagits, var och en med respektive styrkor och begränsningar. Probabilistisk logik erbjuder ett enande språk som representerar indirekt övervakning, men end-to-end-modellering med probabilistisk logik är ofta ogenomförbar på grund av oinskränkt inferens och lärande. I detta dokument föreslår vi djup probabilistisk logik (DPL) som en allmän ram för indirekt övervakning, genom att komponera probabilistisk logik med djupt lärande. DPL modellerar märka beslut som latenta variabler, representerar förkunskaper om deras relationer med hjälp av viktade första ordningen logiska formler, och växlar mellan att lära sig ett djupt neuralt nätverk för slutuppgiften och förfina osäkra formelvikter för indirekt övervakning, med hjälp av variations EM. Detta ramverk subsumerar tidigare indirekta övervakningsmetoder som specialfall, och möjliggör ny kombination via infusion av rik domän och språkliga kunskaper. Experiment på biomedicinsk maskinläsning visar löftet om detta tillvägagångssätt.
I Ref föreslogs en ram för integrering av indirekt övervakning, uttryckt via probabilistisk logik, i neurala nätverk.
Deep Probabilistic Logic: A Unifying Framework for Indirect Supervision
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}