Files changed (1) hide show
  1. bpe.vocab +500 -0
bpe.vocab ADDED
@@ -0,0 +1,500 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ <blk> 0.0
2
+ <sos/eos> 0.0
3
+ <unk> 0.0
4
+ S -2.9193568229675293
5
+ T -3.62225604057312
6
+ ▁THE -3.6390748023986816
7
+ ▁A -3.9199838638305664
8
+ E -3.977398633956909
9
+ ▁AND -4.038878917694092
10
+ ▁TO -4.115281581878662
11
+ N -4.1392621994018555
12
+ D -4.238282203674316
13
+ ▁OF -4.261264324188232
14
+ ' -4.327047824859619
15
+ ING -4.3626580238342285
16
+ ▁I -4.430264472961426
17
+ Y -4.476640701293945
18
+ ▁IN -4.503903865814209
19
+ ED -4.563878536224365
20
+ ▁THAT -4.564927101135254
21
+ ▁ -4.611609935760498
22
+ P -4.688668251037598
23
+ R -4.691936016082764
24
+ ▁YOU -4.700127601623535
25
+ M -4.734678745269775
26
+ RE -4.778960704803467
27
+ ER -4.7922234535217285
28
+ C -4.804409503936768
29
+ O -4.8443684577941895
30
+ ▁IT -4.845990180969238
31
+ L -4.928762912750244
32
+ A -5.013040065765381
33
+ U -5.043389797210693
34
+ G -5.079812526702881
35
+ ▁WE -5.1571550369262695
36
+ ▁IS -5.165921211242676
37
+ ▁SO -5.204726219177246
38
+ AL -5.207610130310059
39
+ I -5.208917140960693
40
+ ▁S -5.219414710998535
41
+ ▁RE -5.259605884552002
42
+ AR -5.264644145965576
43
+ B -5.271263122558594
44
+ ▁FOR -5.28787899017334
45
+ ▁C -5.289180278778076
46
+ ▁BE -5.302088737487793
47
+ LE -5.303797245025635
48
+ F -5.317265033721924
49
+ W -5.362597465515137
50
+ ▁E -5.390583515167236
51
+ ▁HE -5.398395538330078
52
+ LL -5.399363040924072
53
+ ▁WAS -5.419474124908447
54
+ LY -5.419816970825195
55
+ OR -5.450995445251465
56
+ IN -5.512451171875
57
+ ▁F -5.516856670379639
58
+ VE -5.5455098152160645
59
+ ▁THIS -5.546043395996094
60
+ TH -5.554375171661377
61
+ K -5.597818374633789
62
+ ▁ON -5.604915618896484
63
+ IT -5.630507469177246
64
+ ▁B -5.643147945404053
65
+ ▁WITH -5.669203281402588
66
+ ▁BUT -5.693719863891602
67
+ EN -5.694636344909668
68
+ CE -5.701049327850342
69
+ RI -5.740787029266357
70
+ ▁DO -5.750228404998779
71
+ UR -5.750885963439941
72
+ ▁HAVE -5.757843017578125
73
+ ▁DE -5.781976222991943
74
+ ▁ME -5.787437438964844
75
+ ▁T -5.792184352874756
76
+ ENT -5.849365234375
77
+ CH -5.86931037902832
78
+ ▁THEY -5.874101161956787
79
+ ▁NOT -5.880222320556641
80
+ ES -5.902445316314697
81
+ V -5.905279159545898
82
+ ▁AS -5.90744686126709
83
+ RA -5.914361476898193
84
+ ▁P -5.917837142944336
85
+ ON -5.917881011962891
86
+ TER -5.925872325897217
87
+ ▁ARE -5.947813510894775
88
+ ▁WHAT -5.956636428833008
89
+ IC -5.967848777770996
90
+ ▁ST -5.979109764099121
91
+ ▁LIKE -6.022324085235596
92
+ ATION -6.049623489379883
93
+ ▁OR -6.052227020263672
94
+ ▁CA -6.0587639808654785
95
+ ▁AT -6.081498146057129
96
+ H -6.0896525382995605
97
+ ▁KNOW -6.093889236450195
98
+ ▁G -6.099137783050537
99
+ AN -6.100823402404785
100
+ ▁CON -6.108602523803711
101
+ IL -6.122589111328125
102
+ ND -6.127483367919922
103
+ RO -6.139258861541748
104
+ ▁HIS -6.140096187591553
105
+ ▁CAN -6.144445896148682
106
+ ▁ALL -6.1462626457214355
107
+ TE -6.1565446853637695
108
+ ▁THERE -6.162631988525391
109
+ ▁SU -6.189629554748535
110
+ ▁MO -6.198215961456299
111
+ ▁MA -6.217347145080566
112
+ LI -6.2456793785095215
113
+ ▁ONE -6.251768112182617
114
+ ▁ABOUT -6.2530012130737305
115
+ LA -6.253087997436523
116
+ ▁CO -6.255880355834961
117
+ - -6.260847091674805
118
+ ▁MY -6.271344184875488
119
+ ▁HAD -6.273896217346191
120
+ CK -6.277370929718018
121
+ NG -6.289103984832764
122
+ ▁NO -6.2947211265563965
123
+ MENT -6.307382583618164
124
+ AD -6.31070613861084
125
+ LO -6.313390254974365
126
+ ME -6.313897132873535
127
+ ▁AN -6.317819595336914
128
+ ▁FROM -6.326704025268555
129
+ NE -6.328218936920166
130
+ ▁IF -6.330901622772217
131
+ VER -6.337335109710693
132
+ ▁JUST -6.347054958343506
133
+ ▁PRO -6.3815741539001465
134
+ ION -6.382028102874756
135
+ ▁PA -6.383107662200928
136
+ ▁WHO -6.388995170593262
137
+ ▁SE -6.391448497772217
138
+ EL -6.395771026611328
139
+ IR -6.399024963378906
140
+ ▁US -6.403663635253906
141
+ ▁UP -6.409291744232178
142
+ ▁YOUR -6.411109924316406
143
+ CI -6.415708065032959
144
+ RY -6.428781509399414
145
+ ▁GO -6.432250499725342
146
+ ▁SHE -6.4457597732543945
147
+ ▁LE -6.454672813415527
148
+ ▁OUT -6.461804389953613
149
+ ▁PO -6.469594478607178
150
+ ▁HO -6.472825050354004
151
+ ATE -6.482476711273193
152
+ ▁BO -6.485976219177246
153
+ ▁BY -6.487430095672607
154
+ ▁FA -6.487788677215576
155
+ ▁MI -6.489722728729248
156
+ AS -6.495523452758789
157
+ MP -6.508254528045654
158
+ ▁HER -6.514438152313232
159
+ VI -6.515841960906982
160
+ ▁THINK -6.518208026885986
161
+ ▁SOME -6.5196614265441895
162
+ ▁WHEN -6.539550304412842
163
+ ▁AH -6.547891139984131
164
+ ▁PEOPLE -6.565793991088867
165
+ IG -6.566187381744385
166
+ ▁WA -6.584457874298096
167
+ ▁TE -6.587077617645264
168
+ ▁LA -6.592395305633545
169
+ ▁WERE -6.595579147338867
170
+ ▁LI -6.596170902252197
171
+ ▁WOULD -6.603331565856934
172
+ ▁SEE -6.6042070388793945
173
+ ▁WHICH -6.607693672180176
174
+ DE -6.611456871032715
175
+ GE -6.612139701843262
176
+ ▁K -6.617245674133301
177
+ IGHT -6.639871597290039
178
+ ▁HA -6.640974998474121
179
+ ▁OUR -6.674405574798584
180
+ UN -6.67952823638916
181
+ ▁HOW -6.687088966369629
182
+ ▁GET -6.6873979568481445
183
+ IS -6.6945319175720215
184
+ UT -6.703342437744141
185
+ Z -6.709224700927734
186
+ CO -6.713156223297119
187
+ ET -6.715916156768799
188
+ UL -6.716640949249268
189
+ IES -6.727875232696533
190
+ IVE -6.7303786277771
191
+ AT -6.731067657470703
192
+ ▁O -6.733020305633545
193
+ ▁DON -6.735263824462891
194
+ LU -6.739355564117432
195
+ ▁TIME -6.7478742599487305
196
+ ▁WILL -6.75713586807251
197
+ ▁MORE -6.757719039916992
198
+ ▁SP -6.757954120635986
199
+ ▁NOW -6.762811660766602
200
+ RU -6.764409065246582
201
+ ▁THEIR -6.767008304595947
202
+ ▁UN -6.773370265960693
203
+ ITY -6.7884602546691895
204
+ OL -6.7899065017700195
205
+ X -6.792157173156738
206
+ TI -6.795647144317627
207
+ US -6.798153400421143
208
+ ▁VERY -6.813176155090332
209
+ TION -6.815155029296875
210
+ ▁FI -6.817389488220215
211
+ ▁SAY -6.817635536193848
212
+ ▁BECAUSE -6.838785171508789
213
+ ▁EX -6.839739799499512
214
+ ▁RO -6.843217372894287
215
+ ERS -6.868502616882324
216
+ IST -6.870911598205566
217
+ ▁DA -6.8730268478393555
218
+ TING -6.874077796936035
219
+ ▁EN -6.885142803192139
220
+ OM -6.8852925300598145
221
+ ▁BA -6.889501571655273
222
+ ▁BEEN -6.8919854164123535
223
+ ▁LO -6.89574670791626
224
+ ▁UM -6.899879455566406
225
+ AGE -6.904604434967041
226
+ ABLE -6.905559539794922
227
+ ▁WO -6.907620429992676
228
+ ▁RA -6.9080705642700195
229
+ ▁OTHER -6.927620887756348
230
+ ▁REALLY -6.927717208862305
231
+ ENCE -6.934639930725098
232
+ ▁GOING -6.936440467834473
233
+ ▁HIM -6.937822341918945
234
+ ▁HAS -6.938195705413818
235
+ ▁THEM -6.938523292541504
236
+ ▁DIS -6.940507888793945
237
+ ▁WANT -6.9482421875
238
+ ID -6.951967239379883
239
+ TA -6.954659938812256
240
+ ▁LOOK -6.958589553833008
241
+ KE -6.966830730438232
242
+ ▁DID -6.969732284545898
243
+ ▁SA -6.9750447273254395
244
+ ▁VI -6.97815465927124
245
+ ▁SAID -6.9811601638793945
246
+ ▁RIGHT -6.982329845428467
247
+ ▁THESE -6.98239278793335
248
+ ▁WORK -6.982670783996582
249
+ ▁COM -7.005914211273193
250
+ ALLY -7.0210137367248535
251
+ FF -7.021905422210693
252
+ QU -7.029819488525391
253
+ AC -7.0320024490356445
254
+ ▁DR -7.037059307098389
255
+ ▁WAY -7.037661552429199
256
+ ▁INTO -7.049734592437744
257
+ MO -7.051361560821533
258
+ TED -7.055178642272949
259
+ EST -7.060355186462402
260
+ ▁HERE -7.062788486480713
261
+ OK -7.066590785980225
262
+ ▁COULD -7.074836254119873
263
+ ▁WELL -7.076806545257568
264
+ MA -7.07980489730835
265
+ ▁PRE -7.0837507247924805
266
+ ▁DI -7.084110260009766
267
+ MAN -7.091825485229492
268
+ ▁COMP -7.092506408691406
269
+ ▁THEN -7.093109607696533
270
+ IM -7.094536781311035
271
+ ▁PER -7.094709396362305
272
+ ▁NA -7.098141193389893
273
+ ▁WHERE -7.099503517150879
274
+ ▁TWO -7.103742599487305
275
+ ▁WI -7.104333400726318
276
+ ▁FE -7.122575283050537
277
+ INE -7.135422229766846
278
+ ▁ANY -7.136849880218506
279
+ TURE -7.137872695922852
280
+ ▁OVER -7.138059139251709
281
+ BO -7.143603801727295
282
+ ACH -7.150747776031494
283
+ OW -7.162942409515381
284
+ ▁MAKE -7.169669151306152
285
+ ▁TRA -7.179236888885498
286
+ HE -7.1941375732421875
287
+ UND -7.1943793296813965
288
+ ▁EVEN -7.19730281829834
289
+ ANCE -7.199363708496094
290
+ ▁YEAR -7.200743198394775
291
+ HO -7.201263904571533
292
+ AM -7.208032131195068
293
+ ▁CHA -7.2094407081604
294
+ ▁BACK -7.212467670440674
295
+ VO -7.220343589782715
296
+ ANT -7.241476058959961
297
+ DI -7.244139194488525
298
+ ▁ALSO -7.244414329528809
299
+ ▁THOSE -7.249203681945801
300
+ ▁MAN -7.2582783699035645
301
+ CTION -7.259936809539795
302
+ ICAL -7.2709455490112305
303
+ ▁JO -7.2752180099487305
304
+ ▁OP -7.276566028594971
305
+ ▁NEW -7.2802629470825195
306
+ ▁MU -7.2845683097839355
307
+ ▁HU -7.2871904373168945
308
+ ▁KIND -7.290564060211182
309
+ ▁NE -7.290573596954346
310
+ CA -7.294549942016602
311
+ END -7.299909591674805
312
+ TIC -7.303384304046631
313
+ FUL -7.308001518249512
314
+ ▁YEAH -7.3097124099731445
315
+ SH -7.310524940490723
316
+ ▁APP -7.318628311157227
317
+ ▁THINGS -7.318732261657715
318
+ SIDE -7.318756580352783
319
+ ▁GOOD -7.321487903594971
320
+ ONE -7.323854923248291
321
+ ▁TAKE -7.331476211547852
322
+ CU -7.335249423980713
323
+ ▁EVERY -7.336061000823975
324
+ ▁MEAN -7.339163780212402
325
+ ▁FIRST -7.356328010559082
326
+ OP -7.358065128326416
327
+ ▁TH -7.358164310455322
328
+ ▁MUCH -7.360353469848633
329
+ ▁PART -7.363028049468994
330
+ UGH -7.380752086639404
331
+ ▁COME -7.390247344970703
332
+ J -7.402060508728027
333
+ ▁THAN -7.402695655822754
334
+ ▁EXP -7.406347751617432
335
+ ▁AGAIN -7.406375408172607
336
+ ▁LITTLE -7.4123029708862305
337
+ MB -7.420613765716553
338
+ ▁NEED -7.429818153381348
339
+ ▁TALK -7.429933071136475
340
+ IF -7.43499231338501
341
+ FOR -7.436851978302002
342
+ ▁SH -7.437068462371826
343
+ ISH -7.438342094421387
344
+ ▁STA -7.444055557250977
345
+ ATED -7.4442877769470215
346
+ ▁GU -7.445704936981201
347
+ ▁LET -7.448434352874756
348
+ IA -7.452078342437744
349
+ ▁MAR -7.462182998657227
350
+ ▁DOWN -7.462522983551025
351
+ ▁DAY -7.4663591384887695
352
+ ▁GA -7.4683051109313965
353
+ ▁SOMETHING -7.4737348556518555
354
+ ▁BU -7.4795241355896
355
+ DUC -7.479679107666016
356
+ HA -7.485771656036377
357
+ ▁LOT -7.489638328552246
358
+ ▁RU -7.496410369873047
359
+ ▁THOUGH -7.50103235244751
360
+ ▁GREAT -7.515714168548584
361
+ AIN -7.53754997253418
362
+ ▁THROUGH -7.538137912750244
363
+ ▁THING -7.539700984954834
364
+ OUS -7.542984962463379
365
+ ▁PRI -7.546633720397949
366
+ ▁GOT -7.546683311462402
367
+ ▁SHOULD -7.548544883728027
368
+ ▁AFTER -7.548874855041504
369
+ ▁HEAR -7.5492072105407715
370
+ ▁TA -7.558297157287598
371
+ ▁ONLY -7.563179016113281
372
+ ▁CHI -7.566671848297119
373
+ IOUS -7.584007740020752
374
+ ▁SHA -7.587113380432129
375
+ ▁MOST -7.595600128173828
376
+ ▁ACTUALLY -7.598780632019043
377
+ ▁START -7.600463390350342
378
+ LIC -7.60951042175293
379
+ ▁VA -7.61021089553833
380
+ ▁RI -7.611799240112305
381
+ DAY -7.614293575286865
382
+ IAN -7.619395732879639
383
+ ▁DOES -7.622466564178467
384
+ ROW -7.6294145584106445
385
+ ▁GRA -7.632865905761719
386
+ ITION -7.646081924438477
387
+ ▁MANY -7.64979887008667
388
+ ▁BEFORE -7.678394317626953
389
+ ▁GIVE -7.678915023803711
390
+ PORT -7.683571815490723
391
+ QUI -7.701172828674316
392
+ ▁LIFE -7.701552391052246
393
+ ▁WORLD -7.708325386047363
394
+ ▁PI -7.712493419647217
395
+ ▁LONG -7.7158637046813965
396
+ ▁THREE -7.721429824829102
397
+ IZE -7.728706359863281
398
+ NESS -7.730460166931152
399
+ ▁SHOW -7.731165885925293
400
+ PH -7.744083881378174
401
+ ▁WHY -7.754520893096924
402
+ ▁QUESTION -7.765897274017334
403
+ WARD -7.766331195831299
404
+ ▁THANK -7.777625560760498
405
+ ▁PH -7.7809247970581055
406
+ ▁DIFFERENT -7.7979817390441895
407
+ ▁OWN -7.800798416137695
408
+ ▁FEEL -7.8076171875
409
+ ▁MIGHT -7.812119007110596
410
+ ▁HAPPEN -7.822569370269775
411
+ ▁MADE -7.823610782623291
412
+ ▁BRO -7.835050106048584
413
+ IBLE -7.83691930770874
414
+ ▁HI -7.839770317077637
415
+ ▁STATE -7.843204021453857
416
+ ▁HAND -7.853728771209717
417
+ ▁NEVER -7.858198642730713
418
+ ▁PLACE -7.8697004318237305
419
+ ▁LOVE -7.870563507080078
420
+ ▁DU -7.871770858764648
421
+ ▁POINT -7.8792595863342285
422
+ ▁HELP -7.882732391357422
423
+ ▁COUNT -7.883047580718994
424
+ ▁STILL -7.884458065032959
425
+ ▁MR -7.9012274742126465
426
+ ▁FIND -7.902881622314453
427
+ ▁PERSON -7.92878532409668
428
+ ▁CAME -7.930002212524414
429
+ ▁SAME -7.953374862670898
430
+ ▁LAST -7.97701358795166
431
+ ▁HIGH -7.978750705718994
432
+ ▁OLD -8.006887435913086
433
+ ▁UNDER -8.012083053588867
434
+ ▁FOUR -8.012367248535156
435
+ ▁AROUND -8.016302108764648
436
+ ▁SORT -8.025501251220703
437
+ ▁CHANGE -8.029296875
438
+ ▁YES -8.033637046813965
439
+ SHIP -8.042017936706543
440
+ ▁ANOTHER -8.049089431762695
441
+ ATIVE -8.077142715454102
442
+ ▁FOUND -8.092267036437988
443
+ ▁JA -8.093506813049316
444
+ ▁ALWAYS -8.100232124328613
445
+ ▁NEXT -8.109131813049316
446
+ ▁TURN -8.110786437988281
447
+ ▁JU -8.129608154296875
448
+ ▁SIX -8.130176544189453
449
+ ▁FACT -8.138091087341309
450
+ ▁INTEREST -8.141990661621094
451
+ ▁WORD -8.151030540466309
452
+ ▁THOUSAND -8.161725044250488
453
+ ▁HUNDRED -8.191277503967285
454
+ ▁NUMBER -8.192710876464844
455
+ ▁IDEA -8.20110034942627
456
+ ▁PLAN -8.213858604431152
457
+ ▁COURSE -8.216991424560547
458
+ ▁SCHOOL -8.222261428833008
459
+ ▁HOUSE -8.228849411010742
460
+ ▁TWENTY -8.233541488647461
461
+ ▁JE -8.23871898651123
462
+ ▁PLAY -8.247897148132324
463
+ ▁AWAY -8.25259017944336
464
+ ▁LEARN -8.254034042358398
465
+ ▁HARD -8.255229949951172
466
+ ▁WEEK -8.25715446472168
467
+ ▁BETTER -8.267112731933594
468
+ ▁WHILE -8.276256561279297
469
+ ▁FRIEND -8.281561851501465
470
+ ▁OKAY -8.282224655151367
471
+ ▁NINE -8.28926944732666
472
+ ▁UNDERSTAND -8.306849479675293
473
+ ▁KEEP -8.307028770446777
474
+ ▁GONNA -8.309077262878418
475
+ ▁SYSTEM -8.331145286560059
476
+ ▁AMERICA -8.333436965942383
477
+ ▁POWER -8.340849876403809
478
+ ▁IMPORTANT -8.34507942199707
479
+ ▁WITHOUT -8.357831001281738
480
+ ▁MAYBE -8.363687515258789
481
+ ▁SEVEN -8.364677429199219
482
+ ▁BETWEEN -8.368082046508789
483
+ ▁BUILD -8.383090019226074
484
+ ▁CERTAIN -8.385713577270508
485
+ ▁PROBLEM -8.400029182434082
486
+ ▁MONEY -8.404541015625
487
+ ▁BELIEVE -8.42697525024414
488
+ ▁SECOND -8.432435989379883
489
+ ▁REASON -8.45837116241455
490
+ ▁TOGETHER -8.498573303222656
491
+ ▁PUBLIC -8.505977630615234
492
+ ▁ANYTHING -8.507885932922363
493
+ ▁SPEAK -8.511536598205566
494
+ ▁BUSINESS -8.52180290222168
495
+ ▁EVERYTHING -8.52867603302002
496
+ ▁CLOSE -8.529211044311523
497
+ ▁QUITE -8.531704902648926
498
+ ▁ANSWER -8.543598175048828
499
+ ▁ENOUGH -8.547538757324219
500
+ Q -9.755722045898438