Inom den naturliga språkbehandlingsgemenskapen (NLP) har aktivt lärande undersökts och tillämpats i stor utsträckning för att lindra den flaskhals som utvecklarna av nya NLP-system och ny teknik står inför. I detta dokument presenteras den första teoretiska analysen av att stoppa aktivt lärande baserat på stabiliserande förutsägelser (SP). Analysen har avslöjat tre faktorer som är centrala för framgången med SP-metoden: (1) gränserna i Cohens Kappa-avtal mellan successivt utbildade modeller sätter gränser för skillnaderna i F-mätprestanda för modellerna; (2) eftersom stoppuppsättningen inte behöver märkas, kan den göras stor i praktiken, vilket bidrar till att garantera att resultaten överförs till tidigare osynliga strömmar av exempel vid test/tillämpningstid; och (3) goda (låg varians) stickprovsuppskattningar av Kappa mellan på varandra följande modeller kan erhållas. Bevis på samband mellan Kappa-avtalets nivå och skillnaden i prestanda mellan på varandra följande modeller presenteras. Om Kappa-avtalet mellan två modeller överstiger ett tröskelvärde T (där T > 0) är skillnaden i F-mätprestanda mellan dessa modeller begränsad till T i samtliga fall. Om precisionen i den positiva kombinationen av modeller antas vara p, då den bundna kan stramas åt till 4.1-T ) (p+1)T.
Under 2013, Bloodgood och Grothendieck kunde bevisa att när Cohens Kappa är större än eller lika med någon tröskel T, då förändringen av F-måttet är mindre än eller lika med 4 (1-T ) T REF.
Analysis of Stopping Active Learning based on Stabilizing Predictions
{'venue': 'CoNLL', 'journal': None, 'mag_field_of_study': ['Mathematics', 'Computer Science']}