# Jieun daptar ti set disorted tokens # dimana tokens kaasup token ditangtayungan, # tokens kalawan frékuénsi leuwih gede atawa sarua jeung frékuénsi minimum, jeung  self.idx_to_token = list(sorted(set(# Tambah  ka set token [' '] + # Tambahkeun token ditangtayungan ka set token ditangtayungan_tokens + # Map unggal token jeung frékuénsi ngan token # dimana frékuénsi leuwih gede atawa sarua jeung frékuénsi minimum peta lambda token, _: token, # Filter token jeung frékuénsi pasangan dimana frékuénsi leuwih gede atawa sarua jeung frékuénsi minimum filter lambda _, freq: freq >= min_freq, selftoken_qs) })
spam fails_task lang_mismatch pii not_appropriate hate_speech sexual_content quality toxicity humor helpfulness creativity violence