npc0 commited on
Commit
e217685
·
1 Parent(s): e79db2f

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +8 -1
README.md CHANGED
@@ -14,7 +14,14 @@ ChatGLM3-6B 是 ChatGLM 系列最新一代的开源模型,[THUDM/chatglm3-6b](
14
 
15
  用 [ChatGLM.CPP]() 基於 GGML quantize 生成 Q4_0、Q4_1 權重 weights 儲存於此倉庫。
16
 
17
- ## Use in Python
 
 
 
 
 
 
 
18
  1. Install dependency
19
  ```sh
20
  pip install chatglm-cpp transformers
 
14
 
15
  用 [ChatGLM.CPP]() 基於 GGML quantize 生成 Q4_0、Q4_1 權重 weights 儲存於此倉庫。
16
 
17
+ ## Performance
18
+ |Model |GGML quantize method| HDD size |1 token\*|
19
+ |----------------------|--------------------|----------|---------|
20
+ |chatglm3-ggml-q4_0.bin| q4_0 | 3.51 GB | 74ms |
21
+ |chatglm3-ggml-q4_1.bin| q4_1 | 3.9 GB | 77ms |
22
+ \* ms/token (CPU @ Platinum 8260) from [reference](https://github.com/li-plus/chatglm.cpp#performance)
23
+
24
+ ## Getting Started
25
  1. Install dependency
26
  ```sh
27
  pip install chatglm-cpp transformers