* GPT-J dilatih dina TPU v3-256 salila kira lima minggu * OPT dilatih dina 992 NVIDIA 80GB A100 GPU salila kira dua bulan, sarta kungsi nungkulan sababaraha kagagalan hardware salila waktu nu merlukeun boh manual atawa otomatis restarts. * Bloom dilatih dina Jean Zay, nu miboga 384 NVIDIA A100 80GB GPU, sarta nyandak kira opat bulan TPU dipaké ku google teu keur dijual, sarta hiji NVIDIA 80GB A100 GPU bisa ngarugikeun $10,000-20,000 $, salian komponén tambahan diperlukeun pikeun wiring sagalana babarengan jeung tiis sagalana. Dina raraga ngalatih model dina skala waktu nu sarua jeung éta, lamun urang nganggap 300 A100 GPU éta cukup, biaya pikeun fasilitas pikeun ngalatih eta bisa jadi sabudeureun $6 juta.
spam fails_task lang_mismatch pii not_appropriate hate_speech sexual_content quality toxicity humor helpfulness creativity violence