data/lang_bpe_500/tokens.txt

<blk> 0
<sos/eos> 1
<unk> 2
S 3
▁ 4
E 5
▁DE 6
' 7
T 8
R 9
É 10
▁L 11
▁LA 12
C 13
▁LE 14
A 15
O 16
P 17
▁D 18
U 19
I 20
▁EST 21
▁IL 22
ON 23
N 24
▁À 25
▁S 26
▁A 27
▁ET 28
▁C 29
IN 30
D 31
G 32
ER 33
ES 34
▁EN 35
▁LES 36
Y 37
IS 38
IT 39
L 40
▁DU 41
AL 42
ENT 43
▁F 44
RE 45
▁PAR 46
▁DES 47
F 48
LE 49
▁UN 50
▁B 51
▁SE 52
V 53
▁AU 54
AN 55
B 56
OR 57
▁G 58
RA 59
ANT 60
OU 61
H 62
UR 63
▁DANS 64
▁T 65
RI 66
▁M 67
TE 68
▁RE 69
AR 70
▁UNE 71
▁ELLE 72
▁V 73
M 74
ATION 75
UL 76
ÉE 77
Z 78
▁N 79
NE 80
ME 81
IL 82
▁P 83
MENT 84
IE 85
EN 86
▁H 87
▁CON 88
IR 89
EST 90
LI 91
▁SON 92
CH 93
▁POUR 94
È 95
LA 96
CE 97
▁RÉ 98
▁MA 99
IQUE 100
▁CE 101
EUR 102
▁SA 103
NT 104
▁SONT 105
US 106
EMENT 107
▁IN 108
▁PRO 109
▁SUR 110
RÉ 111
RO 112
▁DÉ 113
AIT 114
DE 115
▁QU 116
▁É 117
EL 118
OL 119
AIRE 120
ION 121
UN 122
CHE 123
K 124
▁CH 125
AT 126
DI 127
AG 128
TRE 129
TI 130
OM 131
ELLE 132
▁SU 133
AM 134
▁PO 135
▁MO 136
IM 137
▁PAS 138
VI 139
TÉ 140
FF 141
▁CA 142
TER 143
END 144
CETTE 145
QUE 146
TA 147
LO 148
▁PLUS 149
ILLE 150
QU 151
▁NE 152
▁RO 153
▁JE 154
▁QUE 155
▁DEUX 156
UT 157
CI 158
ALE 159
▁AVEC 160
UNE 161
AB 162
ITÉ 163
IC 164
GE 165
MA 166
AGE 167
AND 168
AC 169
OIS 170
▁CO 171
▁COMME 172
PH 173
VER 174
SSE 175
AV 176
▁QUI 177
TU 178
▁BA 179
NÉ 180
ID 181
PORT 182
▁VO 183
IER 184
▁ÉTÉ 185
MI 186
IV 187
ÈRE 188
ARD 189
AU 190
OC 191
▁EX 192
▁DI 193
▁CHA 194
ÉRI 195
MB 196
IGN 197
▁RA 198
DU 199
ISTE 200
TH 201
AIS 202
INE 203
ANG 204
▁COMP 205
▁OU 206
AUX 207
IÈRE 208
ORD 209
X 210
▁PR 211
▁ÉGALEMENT 212
▁CONS 213
LU 214
▁SES 215
▁SOU 216
POS 217
CTION 218
NA 219
TO 220
OUR 221
ART 222
Ô 223
UE 224
MÉ 225
TION 226
▁NOM 227
▁MAR 228
AS 229
MAN 230
LÉ 231
ILL 232
▁COM 233
▁PA 234
W 235
TURE 236
MIN 237
▁MAIS 238
VE 239
ITE 240
IX 241
ANCE 242
ENCE 243
OP 244
EMP 245
ALL 246
EUX 247
▁K 248
▁ÉTAIT 249
▁FAIT 250
J 251
▁TOUT 252
TIQUE 253
PE 254
UV 255
▁PLA 256
IRE 257
ENS 258
▁Y 259
IG 260
VO 261
VEN 262
ABLE 263
▁AUX 264
▁MON 265
ÊT 266
▁AUSSI 267
▁FOR 268
TRA 269
LES 270
NI 271
TRI 272
▁DIS 273
▁MI 274
▁TRA 275
▁CENT 276
▁TO 277
ÉS 278
TTE 279
EX 280
▁APP 281
▁GRAND 282
▁AR 283
INS 284
▁NO 285
▁DÉC 286
MO 287
▁BR 288
▁AN 289
ÉES 290
ONNE 291
▁PRÉ 292
▁ME 293
▁LUI 294
▁FA 295
TEN 296
AUT 297
BL 298
IVE 299
Ç 300
 301
▁FUT 302
▁SO 303
▁TROIS 304
EAU 305
▁ALORS 306
TEUR 307
▁MÉ 308
DA 309
▁J 310
▁ON 311
▁JA 312
GUE 313
▁LEUR 314
ÈME 315
▁ONT 316
▁W 317
▁MÊME 318
ACC 319
IEN 320
▁SAINT 321
AINE 322
À 323
▁VA 324
▁FIN 325
ICI 326
ITION 327
▁CES 328
▁COUR 329
UM 330
BRE 331
▁PEU 332
Î 333
TRO 334
IENNE 335
IDE 336
▁REP 337
▁JU 338
▁VILLE 339
▁APRÈS 340
▁ÊTRE 341
▁RI 342
▁VOUS 343
▁PLUSIEURS 344
▁NA 345
▁TH 346
ANTE 347
TRÈS 348
▁SITUÉ 349
▁TOUR 350
▁PARTIE 351
▁FRANC 352
▁QUATRE 353
▁PER 354
VIENT 355
▁ENTRE 356
ING 357
▁PREMIER 358
▁CAR 359
LON 360
FORM 361
BA 362
VÉ 363
IFI 364
AIENT 365
HI 366
▁JO 367
TIF 368
TANT 369
▁PEUT 370
STRU 371
▁PARTI 372
▁COMMUNE 373
Ê 374
▁REN 375
ATEUR 376
▁BIEN 377
▁PRI 378
▁RUE 379
▁MONT 380
▁PI 381
▁JOUR 382
AUTRES 383
IBLE 384
APP 385
▁CINQ 386
▁PREMIÈRE 387
▁MARI 388
CK 389
▁TROUVE 390
ISSE 391
▁DONC 392
▁GROUPE 393
▁JOUE 394
▁VERS 395
JO 396
ÎT 397
ÉTAT 398
▁FRANÇAIS 399
▁LORS 400
▁ENSUITE 401
▁PUIS 402
▁PETIT 403
EUSE 404
▁AINSI 405
▁TRAVAIL 406
▁NOUS 407
▁QUELQUE 408
▁COLL 409
▁CERTAIN 410
▁LIEU 411
▁PRÉSENT 412
ÉQUIPE 413
▁VINGT 414
▁PÈRE 415
▁FAMILLE 416
▁RU 417
▁RENCONTRE 418
▁ESPÈCE 419
▁FILS 420
▁GÉNÉRAL 421
▁OB 422
▁ÉV 423
Ï 424
▁PAYS 425
▁ANNÉE 426
ÉGLISE 427
▁PRINCIPAL 428
▁GUERRE 429
▁SANS 430
ANCIEN 431
▁CEPENDANT 432
▁RESTE 433
Π434
▁PENDANT 435
▁TEMPS 436
▁FOND 437
HUI 438
▁RÉGION 439
MM 440
▁MEMBRE 441
Û 442
▁TRANS 443
▁CLUB 444
BERT 445
▁DEPUIS 446
▁IMP 447
PRÈS 448
▁SEPT 449
▁NATIONAL 450
▁CONNU 451
▁VILLAGE 452
▁MORT 453
▁ENCORE 454
ORGANIS 455
HISTOIRE 456
Ù 457
▁SECOND 458
▁NOUVELLE 459
ŒUVRE 460
ORIGINE 461
UNIVERSITÉ 462
▁UTILISÉ 463
▁AUJOURD 464
▁COMMUN 465
▁FILM 466
▁FRÈRE 467
▁TITRE 468
▁DIRECT 469
ÉLECT 470
▁FEMME 471
▁HUIT 472
ÉTAIENT 473
ÉCOLE 474
▁DERNIER 475
▁MONSIEUR 476
▁IMPORTANT 477
▁PERMET 478
▁JUSQU 479
▁DROIT 480
▁CARRIÈRE 481
ARCHI 482
▁NOMBREUX 483
▁SAISON 484
▁NOTAMMENT 485
▁PIERRE 486
BOURG 487
▁DIFFÉRENT 488
▁NOUVEAU 489
▁TOUJOURS 490
▁SIÈGE 491
ÉDIT 492
▁PERSONNE 493
▁SUIVANT 494
▁CELUI 495
Ë 496
Ü 497
Q 498
Æ 499
#0 500
#1 501