Transformers Visi ilaharna ngagunakeun embedding vektor ukuran: 768 (misalna ViT-Base) 1024 (misalna ViT-Large) 2048 (misalna ViT-Huge) Andrei-Cristian Rad ngajelaskeun dina artikel na dina Medium yén arsitéktur ViT ngagunakeun trainable embedding tensor bentuk (p2*c, d), nu learns ka linearly proyék unggal patch datar ka dimensi d. Diménsi d ieu konstan di arsitéktur sarta dipaké dina kalolobaan komponén. Jadi mana waé ti 768 mun 2048 dimensi anu umum sarta geus dijelajahi dina panalungtikan.
spam fails_task lang_mismatch pii not_appropriate hate_speech sexual_content quality toxicity humor helpfulness creativity violence