Update README.md
Browse files
README.md
CHANGED
|
@@ -11,6 +11,14 @@ datasets:
|
|
| 11 |
[SakanaAI/TinySwallow-1.5B-Instruct](https://huggingface.co/SakanaAI/TinySwallow-1.5B-Instruct)
|
| 12 |
に対し[Stratos-35k](https://huggingface.co/datasets/bespokelabs/Bespoke-Stratos-35k)データセットを用いて学習を施した軽量なLLMです。
|
| 13 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 14 |
|
| 15 |
| Model | Base model | Dataset | Size | Organization |
|
| 16 |
| ---- | ---- | ---- | ---- | ---- |
|
|
@@ -136,4 +144,5 @@ Apache-2.0
|
|
| 136 |
- SakanaAI & Swallow team : development and release of TinySwallow-1.5B
|
| 137 |
- BespokeLabs : development and share of training codes
|
| 138 |
- NovaSkyAI : development and share of SkyThought
|
|
|
|
| 139 |
|
|
|
|
| 11 |
[SakanaAI/TinySwallow-1.5B-Instruct](https://huggingface.co/SakanaAI/TinySwallow-1.5B-Instruct)
|
| 12 |
に対し[Stratos-35k](https://huggingface.co/datasets/bespokelabs/Bespoke-Stratos-35k)データセットを用いて学習を施した軽量なLLMです。
|
| 13 |
|
| 14 |
+
## TinySwallowとは
|
| 15 |
+
SakanaAI社とSwallowチームによって開発された軽量なLLMです。新しい蒸留手法[TAID](https://arxiv.org/abs/2501.16937)が利用されています。
|
| 16 |
+
|
| 17 |
+
|
| 18 |
+
## Stratos-35kとは
|
| 19 |
+
Bespoke Labsにより公開されている質問、推論の過程、そして答えからなる推論データセットです。
|
| 20 |
+
話題の[Deepseek-R1](https://github.com/deepseek-ai/DeepSeek-R1)を用いて合成されました。
|
| 21 |
+
|
| 22 |
|
| 23 |
| Model | Base model | Dataset | Size | Organization |
|
| 24 |
| ---- | ---- | ---- | ---- | ---- |
|
|
|
|
| 144 |
- SakanaAI & Swallow team : development and release of TinySwallow-1.5B
|
| 145 |
- BespokeLabs : development and share of training codes
|
| 146 |
- NovaSkyAI : development and share of SkyThought
|
| 147 |
+
- Authors of LlamaFactory
|
| 148 |
|