README.md

---
license: apache-2.0
language:
- zh
pipeline_tag: text-generation
---
# Qwen2-7B-Instruct Quantized with AutoFP8

使用 larryvrh/belle_resampled_78K_CN 校准静态量化的 [Qwen/Qwen2-7B-Instruct](https://huggingface.co/Qwen/Qwen2-7B-Instruct) 模型。

主要为中文通常语言逻辑任务，为 vLLM 准备。

## 评估

使用 [lm-evaluation-harness](https://github.com/EleutherAI/lm-evaluation-harness/tree/7ad7c5b9d0f1c35c048af0ce8b197ebc2021dbd3) + vLLM 进行评估：

|项目|Qwen2-7B-Instruct|此项目|Recovery|
|---|---|---|---|
|ceval-valid|81.87|81.65|99.73%|
|cmmlu|81.78|81.26|99.36%|
|agieval_logiqa_zh (5 shots)|47.63|48.54|101.91%|
|**平均**|**70.43**|**70.48**|**100.07%**|