Update README.md
Browse files
README.md
CHANGED
@@ -14,7 +14,14 @@ ChatGLM3-6B 是 ChatGLM 系列最新一代的开源模型,[THUDM/chatglm3-6b](
|
|
14 |
|
15 |
用 [ChatGLM.CPP]() 基於 GGML quantize 生成 Q4_0、Q4_1 權重 weights 儲存於此倉庫。
|
16 |
|
17 |
-
##
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
18 |
1. Install dependency
|
19 |
```sh
|
20 |
pip install chatglm-cpp transformers
|
|
|
14 |
|
15 |
用 [ChatGLM.CPP]() 基於 GGML quantize 生成 Q4_0、Q4_1 權重 weights 儲存於此倉庫。
|
16 |
|
17 |
+
## Performance
|
18 |
+
|Model |GGML quantize method| HDD size |1 token\*|
|
19 |
+
|----------------------|--------------------|----------|---------|
|
20 |
+
|chatglm3-ggml-q4_0.bin| q4_0 | 3.51 GB | 74ms |
|
21 |
+
|chatglm3-ggml-q4_1.bin| q4_1 | 3.9 GB | 77ms |
|
22 |
+
\* ms/token (CPU @ Platinum 8260) from [reference](https://github.com/li-plus/chatglm.cpp#performance)
|
23 |
+
|
24 |
+
## Getting Started
|
25 |
1. Install dependency
|
26 |
```sh
|
27 |
pip install chatglm-cpp transformers
|