File size: 3,396 Bytes
80030ae 80b2b7c 80030ae |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 |
# microsoft/phi-4 量子化モデル
## 概要
本モデルは、[microsoft/phi-4](https://huggingface.co/microsoft/phi-4) をベースとして、GPTQ手法による量子化を適用したものです。日本語テキストをキャリブレーションデータとして用いることで、日本語環境での性能を最適化しています。
- **モデルバリアント**:
- [nejumi/phi-4-GPTQ-Int4-calib-ja-1k](https://huggingface.co/nejumi/phi-4-GPTQ-Int4-calib-ja-1k)
- [nejumi/phi-4-GPTQ-Int8-calib-ja-1k](https://huggingface.co/nejumi/phi-4-GPTQ-Int8-calib-ja-1k)
- **ベースモデル**: [microsoft/phi-4](https://huggingface.co/microsoft/phi-4)
- **モデルサイズ**: 14,659,507,200 パラメータ
- **カテゴリ**: 10B≤ <30B
---
### 量子化パラメータ
- bits: 4 or 8
- group_size: 128
- perc_damp: 0.01
- desc_act: True
- use_exllama: False
- model_seqlen: 2048
---
## 性能評価
[Nejumi LLMリーダーボード3 (W&B)](https://wandb.ai/wandb-japan/llm-leaderboard3/reports/Nejumi-LLM-3---Vmlldzo4NTI1NTUx)による評価結果

青: オリジナル
橙: 8bit
緑: 4bit
### ベンチマーク総合結果
| モデル | GLP平均 | ALT平均 | 総合平均 |
|--------|---------|---------|----------|
| phi-4 Int4 | 0.5815 | 0.6953 | 0.6384 |
| phi-4 Int8 | 0.5948 | 0.7015 | 0.6482 |
| phi-4 オリジナル | 0.5950 | 0.7005 | 0.6477 |
### 汎用的言語性能(GLP)詳細
| サブカテゴリ | Int4 | Int8 | オリジナル |
|-------------|------|------|------|
| 表現 | 0.8567 | 0.8717 | 0.8583 |
| 翻訳 | 0.8458 | 0.8480 | 0.8457 |
| 情報検索 | 0.8780 | 0.8806 | 0.8809 |
| 推論 | 0.6400 | 0.5850 | 0.6550 |
| 数学的推論 | 0.5400 | 0.5967 | 0.5817 |
| 抽出 | 0.3304 | 0.3408 | 0.3470 |
| 知識・質問応答 | 0.5587 | 0.5735 | 0.5685 |
| 英語 | 0.3035 | 0.2351 | 0.2158 |
| 意味解析 | 0.4220 | 0.5200 | 0.5070 |
| 構文解析 | 0.4399 | 0.4967 | 0.4903 |
### アラインメント(ALT)詳細
| サブカテゴリ | Int4 | Int8 | オリジナル |
|-------------|------|------|------|
| 制御性 | 0.6908 | 0.6949 | 0.6938 |
| 倫理・道徳 | 0.8800 | 0.9100 | 0.9000 |
| 毒性 | 0.8143 | 0.8121 | 0.8007 |
| バイアス | 0.8858 | 0.8730 | 0.8650 |
| 堅牢性 | 0.3717 | 0.4208 | 0.4226 |
| 真実性 | 0.5292 | 0.4983 | 0.5206 |
### ベンチマークスコア
| ベンチマーク | Int4 | Int8 | オリジナル |
|-------------|------|------|------|
| JASTER (0-shot) | 0.3880 | 0.4262 | 0.4186 |
| JASTER (2-shot) | 0.6136 | 0.6441 | 0.6398 |
| MT-Bench | 8.2438 | 8.2000 | 8.1313 |
| LCTG | 0.6860 | 0.6670 | 0.6750 |
---
## モデルの特性・評価
- **高い安定性**: 14Bクラスのモデルでは標準的なGPTQ量子化で十分な性能を実現
- **基本タスク**: 表現・翻訳・情報検索で0.84以上の高性能を維持、MT-Benchも当該モデルサイズでは非常に高い元モデルの水準を概ね維持
- **アラインメント**: 倫理・道徳およびバイアス指標で特に高いスコア
-
---
## ライセンス
本モデルは、ベースモデルである [microsoft/phi-4](https://huggingface.co/microsoft/phi-4) のライセンスに従います。詳細はベースモデルのライセンスをご参照ください。 |