File size: 880 Bytes
0beed96 6e4582e 0beed96 f78d7ea 0beed96 6e4582e 07c6c23 678f5a3 07c6c23 b5d9bf9 07c6c23 f78d7ea |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 |
---
inference: false
license: mit
language:
- ja
---
**Description**
A Japanese-specialized SentencePiece tokenizer trained for AI Novelist's SuperTrin and Damsel 20B models.
Vocab size: 52000 (padded to 52224)
**概要**
AIのべりすとの「スーパーとりんさま」「やみおとめ20B」向けに訓練・使用されている、日本語のクリエイティブライティングに特化したSentencePieceトークナイザです。
ボキャブラリサイズ： 52000 (52224にパディング)
**Wiki**
AIのべりすとユーザーWikiにABC/あいうえお順のトークン一覧が掲載されています。
https://wikiwiki.jp/ainove_wiki/%E3%83%88%E3%83%BC%E3%82%AF%E3%83%B3%E4%B8%80%E8%A6%A7%28%E3%82%84%E3%81%BF%E3%81%8A%E3%81%A8%E3%82%81%29/1
#### Credits
- Sta, AI Novelist Dev (https://ai-novel.com/) @ Bit192, Inc.
#### License
MIT License |