Dina modél pembelajaran mesin Transformer, perhatian mangrupikeun mékanisme anu dianggo pikeun ngimbangan pentingna unsur input anu béda nalika ngolah sékuénsi. Dina perhatian standar, set tunggal bobot anu diajar dianggo pikeun ngitung jumlah bobot unsur input, dimana bobotna ditangtukeun ku kamiripan antara unsur input sareng vektor query. Atensi multi-head manjangkeun mékanisme perhatian standar ku ngalakukeun sababaraha operasi perhatian paralel, atanapi "heads". Unggal sirah diajar set bédana bobot sareng ngiringan ngagambarkeun sékuénsi input anu béda. Kaluaran unggal sirah teras dikombinasikeun sareng dirobih pikeun ngahasilkeun hasil akhir. Tina sudut pandang matematika, dina perhatian multi-head, query, konci, sareng nilai vektor ditetepkeun kana sababaraha vektor anu langkung alit, atanapi "heads", anu teras diproses dina perhatian.
spam fails_task lang_mismatch pii not_appropriate hate_speech sexual_content quality toxicity humor helpfulness creativity violence