Intuisi: Dina modél pembelajaran mesin Transformer, mékanisme perhatian ngamungkinkeun modél pikeun ngimbangan pentingna kecap atanapi tanda béda dina sékmen nalika ngahasilkeun kaluaran. Ieu hartosna yén unggal sirah tiasa diajar fokus kana aspek atanapi pola anu béda dina sékmen nalika ngahasilkeun kaluaran. Tujuan utama nyaéta pikeun ngamungkinkeun modél pikeun fokus kana inpormasi anu aya hubunganana sareng ngalirkeun bagian anu teu aya hubunganana. Persepsi matématika: Dina perhatian normal (single-head) perhatian ngitung bobot ieu dumasar kana kontéks atanapi perspektif tunggal. Sabalikna, perhatian multi-head ngabagi mékanisme perhatian ieu kana sababaraha sirah, ngamungkinkeun modél pikeun néwak hubungan sareng kontéks anu béda antara kecap sacara paralel. Ieu hartosna yén unggal sirah tiasa diajar pikeun fokus kana aspék atanapi pola anu béda dina data, anu ngakibatkeun ngagambarkeun representasi anu langkung
spam fails_task lang_mismatch pii not_appropriate hate_speech sexual_content quality toxicity humor helpfulness creativity violence