Dina modél pembelajaran mesin Transformer, perhatian multi-head mangrupikeun variasi mékanisme perhatian anu ngamungkinkeun modél pikeun ngitung sababaraha sét bobot perhatian, atanapi "heads", sacara paralel, masing-masing museurkeun kana bagian anu béda tina sékmen input. Intuisi: perhatian normal dianggo ku ngitung jumlah beurat nilai sékmen input, dimana beuratna ditangtukeun ku kamiripan antara vektor query sareng masing-masing vektor input. Ku ngiringan jumlah bagian input tina sékmen input, hubungan head-head tiasa sacara poténsial ngahasilkeun perhatian anu langkung rumit. Matematika ngahasilkeun perhatian anu béda, atanapi "heads", sacara paralel, masing-masing museurkeun kana bagian anu béda tina sékmen input. Hasilna masing-masing head-head dituturkeun sareng dirobih sacara liniér pikeun ngahasilkeun perhatian final. Ku ngiringan jumlah bagian input tina sékmen input, jumlah-head-head tiasa sacara pot
spam fails_task lang_mismatch pii not_appropriate hate_speech sexual_content quality toxicity humor helpfulness creativity violence