naclbit commited on
Commit
07c6c23
1 Parent(s): 678f5a3

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +16 -2
README.md CHANGED
@@ -3,6 +3,20 @@ inference: false
3
  license: mit
4
  ---
5
 
6
- A SentencePiece tokenizer trained for AI Novelist's SuperTrin and Damsel 20B models.
7
 
8
- AIのべりすとの「スーパーとりんさま」「やみおとめ20B」向けに訓練・使用されているSentencePieceトークナイザです。
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
3
  license: mit
4
  ---
5
 
6
+ **Description**
7
 
8
+ A Japanese-specialized SentencePiece tokenizer trained for AI Novelist's SuperTrin and Damsel 20B models.
9
+
10
+ Vocab size: 52000 (padded to 52224)
11
+
12
+ **概要**
13
+
14
+ AIのべりすとの「スーパーとりんさま」「やみおとめ20B」向けに訓練・使用されている、日本語に特化したSentencePieceトークナイザです。
15
+
16
+ ボキャブラリサイズ: 52000 (52224にパディング)
17
+
18
+ **Wiki**
19
+
20
+ AIのべりすとユーザーWikiにABC/あいうえお順のトークン一覧が掲載されています。
21
+
22
+ https://wikiwiki.jp/ainove_wiki/%E3%83%88%E3%83%BC%E3%82%AF%E3%83%B3%E4%B8%80%E8%A6%A7%28%E3%82%84%E3%81%BF%E3%81%8A%E3%81%A8%E3%82%81%29/1