Hugging Face's logo

zirui3
/
llm-multilingual-tokenizer

Model card Files Community
llm-multilingual-tokenizer
File size: 2,404 Bytes 
f2f9e4d
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
 
{
  "additional_special_tokens": [
    "<s>",
    "</s>",
    "<|usr|>",
    "<|pad|>",
    "<|sys|>",
    "<|unk|>",
    "<|sep|>",
    "<|mask|>",
    "<|d|>",
    "<|/d|>",
    "<|unused0|>",
    "<|unused1|>",
    "<|unused2|>",
    "<|unused3|>",
    "<|unused4|>",
    "<|unused5|>",
    "<|unused6|>",
    "<|unused7|>",
    "<|unused8|>",
    "<|unused9|>",
    "<|unused10|>",
    "<|unused11|>",
    "<|unused12|>",
    "<|unused13|>",
    "<|unused14|>",
    "<|unused15|>",
    "<|unused16|>",
    "<|unused17|>",
    "<|unused18|>",
    "<|unused19|>",
    "<|unused20|>",
    "<|unused21|>",
    "<|unused22|>",
    "<|unused23|>",
    "<|unused24|>",
    "<|unused25|>",
    "<|unused26|>",
    "<|unused27|>",
    "<|unused28|>",
    "<|unused29|>",
    "<|unused30|>",
    "<|unused31|>",
    "<|unused32|>",
    "<|unused33|>",
    "<|unused34|>",
    "<|unused35|>",
    "<|unused36|>",
    "<|unused37|>",
    "<|unused38|>",
    "<|unused39|>",
    "<|unused40|>",
    "<|unused41|>",
    "<|unused42|>",
    "<|unused43|>",
    "<|unused44|>",
    "<|unused45|>",
    "<|unused46|>",
    "<|unused47|>",
    "<|unused48|>",
    "<|unused49|>",
    "<|unused50|>",
    "<|unused51|>",
    "<|unused52|>",
    "<|unused53|>",
    "<|unused54|>",
    "<|unused55|>",
    "<|unused56|>",
    "<|unused57|>",
    "<|unused58|>",
    "<|unused59|>",
    "<|unused60|>",
    "<|unused61|>",
    "<|unused62|>",
    "<|unused63|>",
    "<|unused64|>",
    "<|unused65|>",
    "<|unused66|>",
    "<|unused67|>",
    "<|unused68|>",
    "<|unused69|>",
    "<|unused70|>",
    "<|unused71|>",
    "<|unused72|>",
    "<|unused73|>",
    "<|unused74|>",
    "<|unused75|>",
    "<|unused76|>",
    "<|unused77|>",
    "<|unused78|>",
    "<|unused79|>",
    "<|unused80|>",
    "<|unused81|>",
    "<|unused82|>",
    "<|unused83|>",
    "<|unused84|>",
    "<|unused85|>",
    "<|unused86|>",
    "<|unused87|>",
    "<|unused88|>",
    "<|unused89|>",
    "<|unused90|>",
    "<|unused91|>",
    "<|unused92|>",
    "<|unused93|>",
    "<|unused94|>",
    "<|unused95|>",
    "<|unused96|>",
    "<|unused97|>",
    "<|unused98|>",
    "<|unused99|>"
  ],
  "bos_token": "<s>",
  "clean_up_tokenization_spaces": true,
  "eos_token": "<s>",
  "model_max_length": 1000000000000000019884624838656,
  "tokenizer_class": "PreTrainedTokenizerFast",
  "unk_token": "<s>",
  "vocab_size": 102400
}