Description
A Japanese-specialized SentencePiece tokenizer trained for AI Novelist's SuperTrin and Damsel 20B models.
Vocab size: 52000 (padded to 52224)
概要
AIのべりすとの「スーパーとりんさま」「やみおとめ20B」向けに訓練・使用されている、日本語のクリエイティブライティングに特化したSentencePieceトークナイザです。
ボキャブラリサイズ： 52000 (52224にパディング)
Wiki
AIのべりすとユーザーWikiにABC/あいうえお順のトークン一覧が掲載されています。
Credits
- Sta, AI Novelist Dev (https://ai-novel.com/) @ Bit192, Inc.
License
MIT License
- Downloads last month
- 10
Inference Providers
NEW
This model is not currently available via any of the supported Inference Providers.
The model cannot be deployed to the HF Inference API:
The model authors have turned it off explicitly.