File size: 3,396 Bytes
80030ae
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
80b2b7c
80030ae
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
# microsoft/phi-4 量子化モデル
## 概要
本モデルは、[microsoft/phi-4](https://huggingface.co/microsoft/phi-4) をベースとして、GPTQ手法による量子化を適用したものです。日本語テキストをキャリブレーションデータとして用いることで、日本語環境での性能を最適化しています。

- **モデルバリアント**:
  - [nejumi/phi-4-GPTQ-Int4-calib-ja-1k](https://huggingface.co/nejumi/phi-4-GPTQ-Int4-calib-ja-1k)
  - [nejumi/phi-4-GPTQ-Int8-calib-ja-1k](https://huggingface.co/nejumi/phi-4-GPTQ-Int8-calib-ja-1k)
- **ベースモデル**: [microsoft/phi-4](https://huggingface.co/microsoft/phi-4)
- **モデルサイズ**: 14,659,507,200 パラメータ
- **カテゴリ**: 10B≤ <30B
---
### 量子化パラメータ
- bits: 4 or 8
- group_size: 128
- perc_damp: 0.01
- desc_act: True
- use_exllama: False
- model_seqlen: 2048

---
## 性能評価
[Nejumi LLMリーダーボード3 (W&B)](https://wandb.ai/wandb-japan/llm-leaderboard3/reports/Nejumi-LLM-3---Vmlldzo4NTI1NTUx)による評価結果
![image/png](https://cdn-uploads.huggingface.co/production/uploads/64bcb332b7375f6b8456d937/BLMB8XfItDJArvkuROCay.png)
青: オリジナル
橙: 8bit
緑: 4bit

### ベンチマーク総合結果
| モデル | GLP平均 | ALT平均 | 総合平均 |
|--------|---------|---------|----------|
| phi-4 Int4 | 0.5815 | 0.6953 | 0.6384 |
| phi-4 Int8 | 0.5948 | 0.7015 | 0.6482 |
| phi-4 オリジナル | 0.5950 | 0.7005 | 0.6477 |

### 汎用的言語性能(GLP)詳細
| サブカテゴリ | Int4 | Int8 | オリジナル |
|-------------|------|------|------|
| 表現 | 0.8567 | 0.8717 | 0.8583 |
| 翻訳 | 0.8458 | 0.8480 | 0.8457 |
| 情報検索 | 0.8780 | 0.8806 | 0.8809 |
| 推論 | 0.6400 | 0.5850 | 0.6550 |
| 数学的推論 | 0.5400 | 0.5967 | 0.5817 |
| 抽出 | 0.3304 | 0.3408 | 0.3470 |
| 知識・質問応答 | 0.5587 | 0.5735 | 0.5685 |
| 英語 | 0.3035 | 0.2351 | 0.2158 |
| 意味解析 | 0.4220 | 0.5200 | 0.5070 |
| 構文解析 | 0.4399 | 0.4967 | 0.4903 |

### アラインメント(ALT)詳細
| サブカテゴリ | Int4 | Int8 | オリジナル |
|-------------|------|------|------|
| 制御性 | 0.6908 | 0.6949 | 0.6938 |
| 倫理・道徳 | 0.8800 | 0.9100 | 0.9000 |
| 毒性 | 0.8143 | 0.8121 | 0.8007 |
| バイアス | 0.8858 | 0.8730 | 0.8650 |
| 堅牢性 | 0.3717 | 0.4208 | 0.4226 |
| 真実性 | 0.5292 | 0.4983 | 0.5206 |

### ベンチマークスコア
| ベンチマーク | Int4 | Int8 | オリジナル |
|-------------|------|------|------|
| JASTER (0-shot) | 0.3880 | 0.4262 | 0.4186 |
| JASTER (2-shot) | 0.6136 | 0.6441 | 0.6398 |
| MT-Bench | 8.2438 | 8.2000 | 8.1313 |
| LCTG | 0.6860 | 0.6670 | 0.6750 |

---
## モデルの特性・評価
- **高い安定性**: 14Bクラスのモデルでは標準的なGPTQ量子化で十分な性能を実現
- **基本タスク**: 表現・翻訳・情報検索で0.84以上の高性能を維持、MT-Benchも当該モデルサイズでは非常に高い元モデルの水準を概ね維持
- **アラインメント**: 倫理・道徳およびバイアス指標で特に高いスコア
- 
---
## ライセンス
本モデルは、ベースモデルである [microsoft/phi-4](https://huggingface.co/microsoft/phi-4) のライセンスに従います。詳細はベースモデルのライセンスをご参照ください。