| license: llama3 | |
| base_model: rinna/llama-3-youko-8b | |
| gate_mode: random # "hidden", "cheap_embed", "random" の中から選択 | |
| dtype: bfloat16 | |
| experts_per_token: 2 # 各トークンに対してアクティブなエキスパートの数 | |
| experts: | |
| - source_model: aixsatoshi/Llama-3-youko-8b-instruct-chatvector | |
| - source_model: elyza/Llama-3-ELYZA-JP-8B | |