modify tokenizer.json

tokenizer.json

@@ -205,6 +205,7 @@
     "end_of_word_suffix": null,
     "fuse_unk": true,
     "byte_fallback": true,
+    "ignore_merges": false,
     "vocab": {
       "<unk>": 0,
       "<s>": 1,
@@ -8861,7 +8862,7 @@
       "\"?": 8652,
       "▁>>>": 8653,
       "Que": 8654,
-      "  ": 8655,
+      "  ": 8655,
       "▁plain": 8656,
       "ativa": 8657,
       "ocker": 8658,
@@ -18097,7 +18098,7 @@
       "▁farm": 17888,
       "▁rôle": 17889,
       "▁статьи": 17890,
-      "    ": 17891,
+      "    ": 17891,
       "subfigure": 17892,
       "èces": 17893,
       "ziel": 17894,
@@ -20452,7 +20453,7 @@
       "▁gcc": 20243,
       "▁scène": 20244,
       "Navigation": 20245,
-      "▁ ": 20246,
+      "▁ ": 20246,
       "▁кан": 20247,
       "▁towns": 20248,
       "Username": 20249,
@@ -30287,7 +30288,7 @@
       "æ": 30078,
       "њ": 30079,
       " ": 30080,
-      " ": 30081,
+      " ": 30081,
       "Э": 30082,
       "ë": 30083,
       "õ": 30084,
@@ -31559,7 +31560,7 @@
       "अ": 31350,
       "╔": 31351,
       "无": 31352,
-      "
": 31353,
+      "
": 31353,
       "은": 31354,
       "ʷ": 31355,
       "那": 31356,
@@ -51125,7 +51126,7 @@
       "▁>> >",
       "Qu e",
       "Q ue",
-      "   ",
+      "   ",
       "▁p lain",
       "▁pl ain",
       "▁pla in",
@@ -70350,7 +70351,7 @@
       "▁fa rm",
       "▁r ôle",
       "▁стать и",
-      "     ",
+      "     ",
       "sub figure",
       "èce s",
       "è ces",
@@ -75013,7 +75014,7 @@
       "▁ gcc",
       "▁sc ène",
       "N avigation",
-      "▁  ",
+      "▁  ",
       "▁к ан",
       "▁ка н",
       "▁ кан",
@@ -93459,4 +93460,4 @@
       "▁ ▁▁▁▁▁▁▁▁▁▁▁▁▁▁"
     ]
   }
-}
+}