|
--- |
|
license: apache-2.0 |
|
language: |
|
- zh |
|
pipeline_tag: text-generation |
|
--- |
|
# Qwen2-7B-Instruct Quantized with AutoFP8 |
|
|
|
使用 larryvrh/belle_resampled_78K_CN 校准静态量化的 [Qwen/Qwen2-7B-Instruct](https://huggingface.co/Qwen/Qwen2-7B-Instruct) 模型。 |
|
|
|
主要为中文通常语言逻辑任务，为 vLLM 准备。 |
|
|
|
## 评估 |
|
|
|
使用 [lm-evaluation-harness](https://github.com/EleutherAI/lm-evaluation-harness/tree/7ad7c5b9d0f1c35c048af0ce8b197ebc2021dbd3) + vLLM 进行评估： |
|
|
|
|项目|Qwen2-7B-Instruct|此项目|Recovery| |
|
|---|---|---|---| |
|
|ceval-valid|81.87|81.65|99.73%| |
|
|cmmlu|81.78|81.26|99.36%| |
|
|agieval_logiqa_zh (5 shots)|47.63|48.54|101.91%| |
|
|**平均**|**70.43**|**70.48**|**100.07%**| |
