GPT-J jeung GPT-3 nyaéta dua modél basa gedé, sedengkeun OPT jeung Bloom henteu model husus, jadi kuring teu yakin nu Anjeun nu nuju nujul ka. Sanajan kitu, abdi tiasa masihan anjeun sababaraha informasi umum ngeunaan hardware sarat pikeun latihan jeung inferensi model basa gedé. Latihan model basa gedé merlukeun jumlah signifikan sumberdaya komputasi, kaasup CPU, RAM, gudang, sarta hardware husus kayaning GPUs atawa TPUs. GPT-3, contona, ieu dilatih dina supercomputer kalawan 175 miliar parameter, nu diperlukeun leuwih ti 3,000 GPUs sarta dikonsumsi leuwih ti 400.000 jam inti komputasi. GPT-J mangrupa model leutik ti GPT-3, kalawan 6 miliar parameter, tapi masih merlukeun jumlah considerable sumberdaya komputasi. nu sarat hardware husus pikeun latihan GPT-J teu dipikawanoh, sabab ieu mangrupakeun model komunitas-A loba panyadia nu geus diwangun
spam fails_task lang_mismatch pii not_appropriate hate_speech sexual_content quality toxicity humor helpfulness creativity violence