LoRAMoE for llm-jp-3-13b-instruct3
本リポジトリは，llm-jp-3-13b-instruct3 をベースに，LoRAMoE[https://github.com/Ablustrund/LoRAMoE] の手法を実装・適用したものです．
LoRAMoE は，複数の低ランクアダプター（LoRA）と Mixture-of-Experts (MoE) スタイルのルーター機構を組み合わせることで，下流タスクの性能向上と，事前学習で獲得した世界知識の保持の両立を実現することを目的としています．
執筆中 普通の方法では読み込めません．
- Downloads last month
- 14
Inference Providers
NEW
This model is not currently available via any of the supported Inference Providers.
The model cannot be deployed to the HF Inference API:
The model has no pipeline_tag.
Model tree for doshisha-mil/llm-jp-3-13b-LoRAMoE4MATH_v1
Base model
llm-jp/llm-jp-3-13b-instruct3