Refine saied code
09f9c26
|
characters = { |
|
"ك": "ک", |
|
"دِ": "د", |
|
"بِ": "ب", |
|
"زِ": "ز", |
|
"ذِ": "ذ", |
|
"شِ": "ش", |
|
"سِ": "س", |
|
"ى": "ی", |
|
"ي": "ی", |
|
"ؤ": "و", |
|
"ے": "ی", |
|
"ۀ": "ه", |
|
"ﭘ": "پ", |
|
"ﮐ": "ک", |
|
"ﯽ": "ی", |
|
"ﺎ": "ا", |
|
"ﺑ": "ب", |
|
"ﺘ": "ت", |
|
"ﺧ": "خ", |
|
"ﺩ": "د", |
|
"ﺱ": "س", |
|
"ﻀ": "ض", |
|
"ﻌ": "ع", |
|
"ﻟ": "ل", |
|
"ﻡ": "م", |
|
"ﻢ": "م", |
|
"ﻪ": "ه", |
|
"ﻮ": "و", |
|
"ﺍ": "ا", |
|
"ة": "ه", |
|
"ﯾ": "ی", |
|
"ﯿ": "ی", |
|
"ﺒ": "ب", |
|
"ﺖ": "ت", |
|
"ﺪ": "د", |
|
"ﺮ": "ر", |
|
"ﺴ": "س", |
|
"ﺷ": "ش", |
|
"ﺸ": "ش", |
|
"ﻋ": "ع", |
|
"ﻤ": "م", |
|
"ﻥ": "ن", |
|
"ﻧ": "ن", |
|
"ﻭ": "و", |
|
"ﺭ": "ر", |
|
"ﮔ": "گ", |
|
"إ": "ا", |
|
"ٕ": " ", |
|
"ھ": "ه", |
|
"...": ".", |
|
"…": ".", |
|
"-": " - ", |
|
"هٔ": "ه", |
|
"ﻯ": "ی", |
|
"ﻛ": "ک", |
|
"ﭼ": "چ", |
|
"ﺓ": "ه", |
|
"ﻴ": "ی", |
|
"ﻊ": "ع", |
|
"ﮬ": "ه", |
|
"ﺟ": "ج", |
|
"ﺳ": "س", |
|
"ﻦ": "ن", |
|
"ﺬ": "ذ", |
|
"ﺋ": "ئ", |
|
"ﷲ": "لله", |
|
"ﺞ": "ج", |
|
"ﺙ": "ث", |
|
"ﻗ": "ق", |
|
"ﮪ": "ه", |
|
"ﺰ": "ز", |
|
"ﯼ": "ی", |
|
"ٺ": "ت", |
|
"ﺻ": "ص", |
|
"ﻂ": "ط", |
|
"ﻣ": "م", |
|
"ﻈ": "ظ", |
|
"ﺐ": "ب", |
|
"ﻍ": "غ", |
|
"ݸ": "و", |
|
"ﻨ": "ن", |
|
"ﻝ": "ل", |
|
"ﻩ": "ه", |
|
"ﻲ": "ی", |
|
"ﻐ": "غ", |
|
"ﺲ": "س", |
|
"ﺁ": "آ", |
|
"ڔ": "ر", |
|
"ﺫ": "ذ", |
|
"ﭻ": "چ", |
|
"ﺠ": "ج", |
|
"ﯙ": "و", |
|
"ﮏ": "ک", |
|
"ﺣ": "ح", |
|
"ﺝ": "ج", |
|
"ﺼ": "ص", |
|
"ﻳ": "ی", |
|
"ﻘ": "ق", |
|
"ﺨ": "خ", |
|
"ﻔ": "ف", |
|
"ﻎ": "غ", |
|
"ئ": "ی", |
|
"ﻓ": "ف", |
|
"ﻕ": "ق", |
|
"ﮋ": "ژ", |
|
"ﺗ": "ت", |
|
"ﻁ": "ط", |
|
"ﺯ": "ز", |
|
"ﮕ": "گ", |
|
"ﺌ": "ئ", |
|
"ﺵ": "ش", |
|
"ۮ": "د", |
|
"ﻫ": "ه", |
|
"ﻬ": "ه", |
|
"ﻏ": "غ", |
|
"ﻰ": "ی", |
|
"﷼": "ریال", |
|
"ﺿ": "ض", |
|
"ﺛ": "ث", |
|
"ݐ": "پ", |
|
"ﺏ": "ب", |
|
"ﭙ": "پ", |
|
"ﭽ": "چ", |
|
"ﺜ": "ث", |
|
"ﻃ": "ط", |
|
"ۂ": "ه", |
|
"ﻑ": "ف", |
|
"ﺕ": "ت", |
|
"ﻞ": "ل", |
|
} |
|
|
|
special_tokens = {} |
|
|
|
words_map = { |
|
"Leave a comment": "", |
|
"[…]": "", |
|
"[.]": "", |
|
} |
|
|
