Leres, aya sababaraha alat anu sayogi pikeun otomatis ngafilterkeun data latihan paguneman kualitas rendah pikeun modél basa alami. Alat ieu nganggo téknik anu béda sapertos modél basa, jaringan saraf, sareng heuristik pikeun ngaidentipikasi sareng ngaleungitkeun data kualitas rendah. Ieu sababaraha conto: 1. Snorkel: Snorkel mangrupikeun kerangka pikeun ngawangun modél pembelajaran mesin kalayan pengawasan lemah. Éta kalebet alat pikeun ngaluarkeun data sacara programatik, transformasi, sareng nyaring. Snorkel tiasa dianggo pikeun nyaring data kualitas rendah ku cara nerapkeun fungsi labeling anu ngaidentipikasi pola paguneman kualitas rendah. 2. BERTSof Text: BERTSof Text mangrupikeun métrik pikeun ngaevaluasi kualitas téks anu dihasilkeun dumasar kana kumaha saéna cocog sareng téks anu ditulis ku manusa. Éta tiasa dianggo pikeun ngabandingkeun kualitas tina sét data latihan anu béda sareng pikeun ngafilterkeun data kualitas
spam fails_task lang_mismatch pii not_appropriate hate_speech sexual_content quality toxicity humor helpfulness creativity violence