File size: 938 Bytes
7c5bece |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 |
---
license: cc-by-nc-sa-4.0
language:
- ja
- zh
pipeline_tag: text-generation
---
## SakuraLLM去量化模型
### 为什么要去量化?
llama.cpp在某些设备上受支持情况不佳,推理速度受限,我们可能希望使用pytorch进行推理,于是使用transformers库对GGUF模型进行去量化操作。
### 原始模型是啥
[https://huggingface.co/SakuraLLM/Sakura-14B-Qwen2.5-v1.0-GGUF](SakuraLLM/Sakura-14B-Qwen2.5-v1.0-GGUF)仓库中的sakura-14b-qwen2.5-v1.0-q6k.gguf
### 我想自己去量化
Transformers现已支持GGUF模型去量化,使用```AutoModelForCausalLM.from_pretrained```加载GGUF模型即可
### 好用吗?
使用Q6K模型去量化,模型精度远低于F16,对于推理产生的结果未进行测试。
### 其他问题
去量化后发现tokenizer的词表发生变化,不知道是否会对使用产生影响,你可以使用QWEN2.5模型中的词表替换这部分数据。 |