Update README.md

README.md

@@ -71,6 +71,12 @@ $ pip install punctuators
 
 Though this is just an ONNX and SentencePiece model, so you may run it as you wish.
 
+The input to the `punctuators` API is a list (batch) of strings. 
+Each string will be punctuated, true-cased, and segmented on predicted full stops.
+The output will therefore be a list of list of strings: one list of segmented sentences per input text.
+To disable full stops, use `m.infer(texts, apply_sbd=False)`. 
+The output will then be a list of strings: one punctuated, true-cased string per input text.
+
 <details open>
 
   <summary>Example Usage</summary>
@@ -85,35 +91,15 @@ m: PunctCapSegModelONNX = PunctCapSegModelONNX.from_pretrained(
     "1-800-BAD-CODE/xlm-roberta_punctuation_fullstop_truecase"
 )
 
-input_texts: List[str] = [
-    # "hello world how's it going did you see the game last night my favorite team was playing and i got to go to "
-    # "the game it went into overtime and i got home late i like most sports but some are kind of boring especially "
-    # "baseball most of the time they aren't really playing they're just standing around waiting for something to "
-    # "happen i wish it were more exiting like football or hockey in those sports you have practically non stop play "
-    # "and everyone is involved in the game at all times unlike in baseball where it's only one person at a time",
-    # "hola mundo cómo estás estamos bajo el sol y hace mucho calor santa coloma abre los huertos urbanos a las escuelas "
-    # "de la ciudad",
-    "hello friend how's it going it's snowing outside right now in connecticut a large storm is moving in",
-    # "未來疫苗將有望覆蓋3歲以上全年齡段美國與北約軍隊已全部撤離還有鐵路公路在內的各項基建的來源都將枯竭",
-    # "በባለፈው ሳምንት ኢትዮጵያ ከሶማሊያ 3 ሺህ ወታደሮቿንም እንዳስወጣች የሶማሊያው ዳልሳን ሬድዮ ዘግቦ ነበር ጸጥታ ሃይሉና ህዝቡ ተቀናጅቶ "
-    # "በመስራቱ በመዲናዋ ላይ የታቀደው የጥፋት ሴራ ከሽፏል",
-    # "all human beings are born free and equal in dignity and rights they are endowed with reason and conscience and "
-    # "should act towards one another in a spirit of brotherhood",
-    # "सभी मनुष्य जन्म से मर्यादा और अधिकारों में स्वतंत्र और समान होते हैं वे तर्क और विवेक से संपन्न हैं तथा उन्हें भ्रातृत्व की भावना से परस्पर के प्रति कार्य करना चाहिए",
-    # "wszyscy ludzie rodzą się wolni i równi pod względem swej godności i swych praw są oni obdarzeni rozumem i "
-    # "sumieniem i powinni postępować wobec innych w duchu braterstwa",
-    # "tous les êtres humains naissent libres et égaux en dignité et en droits ils sont doués de raison et de conscience "
-    # "et doivent agir les uns envers les autres dans un esprit de fraternité",
-]
 input_texts: List[str] = [
     "hola mundo cómo estás estamos bajo el sol y hace mucho calor santa coloma abre los huertos urbanos a las escuelas de la ciudad",
     "hello friend how's it going it's snowing outside right now in connecticut a large storm is moving in",
     "未來疫苗將有望覆蓋3歲以上全年齡段美國與北約軍隊已全部撤離還有鐵路公路在內的各項基建的來源都將枯竭",
     "በባለፈው ሳምንት ኢትዮጵያ ከሶማሊያ 3 ሺህ ወታደሮቿንም እንዳስወጣች የሶማሊያው ዳልሳን ሬድዮ ዘግቦ ነበር ጸጥታ ሃይሉና ህዝቡ ተቀናጅቶ በመስራቱ በመዲናዋ ላይ የታቀደው የጥፋት ሴራ ከሽፏል",
-    "all human beings are born free and equal in dignity and rights they are endowed with reason and conscience and should act towards one another in a spirit of brotherhood",
-    "सभी मनुष्य जन्म से मर्यादा और अधिकारों में स्वतंत्र और समान होते हैं वे तर्क और विवेक से संपन्न हैं तथा उन्हें भ्रातृत्व की भावना से परस्पर के प्रति कार्य करना चाहिए",
-    "wszyscy ludzie rodzą się wolni i równi pod względem swej godności i swych praw są oni obdarzeni rozumem i sumieniem i powinni postępować wobec innych w duchu braterstwa",
-    "tous les êtres humains naissent libres et égaux en dignité et en droits ils sont doués de raison et de conscience et doivent agir les uns envers les autres dans un esprit de fraternité",
+    "こんにちは友人" "調子はどう" "今日は雨の日でしたね" "乾いた状態を保つために一日中室内で過ごしました",
+    "hallo freund wie geht's es war heute ein regnerischer tag nicht wahr ich verbrachte den tag drinnen um trocken zu bleiben",
+    "हैलो दोस्त ये कैसा चल रहा है आज बारिश का दिन था न मैंने सूखा रहने के लिए दिन घर के अंदर बिताया",
+    "كيف تجري الامور كان يومًا ممطرًا اليوم أليس كذلك قضيت اليوم في الداخل لأظل جافًا",
 ]
 
 results: List[List[str]] = m.infer(
@@ -136,6 +122,51 @@ for input_text, output_texts in zip(input_texts, results):
   <summary>Expected output</summary>
 
 ```text
+Input: hola mundo cómo estás estamos bajo el sol y hace mucho calor santa coloma abre los huertos urbanos a las escuelas de la ciudad
+Outputs:
+	Hola mundo, ¿cómo estás?
+	Estamos bajo el sol y hace mucho calor.
+	Santa Coloma abre los huertos urbanos a las escuelas de la ciudad.
+
+Input: hello friend how's it going it's snowing outside right now in connecticut a large storm is moving in
+Outputs:
+	Hello friend, how's it going?
+	It's snowing outside right now.
+	In Connecticut, a large storm is moving in.
+
+Input: 未來疫苗將有望覆蓋3歲以上全年齡段美國與北約軍隊已全部撤離還有鐵路公路在內的各項基建的來源都將枯竭
+Outputs:
+	未來，疫苗將有望覆蓋3歲以上全年齡段。
+	美國與北約軍隊已全部撤離。
+	還有，鐵路，公路在內的各項基建的來源都將枯竭。
+
+Input: በባለፈው ሳምንት ኢትዮጵያ ከሶማሊያ 3 ሺህ ወታደሮቿንም እንዳስወጣች የሶማሊያው ዳልሳን ሬድዮ ዘግቦ ነበር ጸጥታ ሃይሉና ህዝቡ ተቀናጅቶ በመስራቱ በመዲናዋ ላይ የታቀደው የጥፋት ሴራ ከሽፏል
+Outputs:
+	በባለፈው ሳምንት ኢትዮጵያ ከሶማሊያ 3 ሺህ ወታደሮቿንም እንዳስወጣች የሶማሊያው ዳልሳን ሬድዮ ዘግቦ ነበር።
+	ጸጥታ ሃይሉና ህዝቡ ተቀናጅቶ በመስራቱ በመዲናዋ ላይ የታቀደው የጥፋት ሴራ ከሽፏል።
+
+Input: こんにちは友人調子はどう今日は雨の日でしたね乾いた状態を保つために一日中室内で過ごしました
+Outputs:
+	こんにちは、友人、調子はどう？
+	今日は雨の日でしたね。
+	乾いた状態を保つために、一日中、室内で過ごしました。
+
+Input: hallo freund wie geht's es war heute ein regnerischer tag nicht wahr ich verbrachte den tag drinnen um trocken zu bleiben
+Outputs:
+	Hallo Freund, wie geht's?
+	Es war heute ein regnerischer Tag, nicht wahr?
+	Ich verbrachte den Tag drinnen, um trocken zu bleiben.
+
+Input: हैलो दोस्त ये कैसा चल रहा है आज बारिश का दिन था न मैंने सूखा रहने के लिए दिन घर के अंदर बिताया
+Outputs:
+	हैलो दोस्त, ये कैसा चल रहा है?
+	आज बारिश का दिन था न, मैंने सूखा रहने के लिए दिन घर के अंदर बिताया।
+
+Input: كيف تجري الامور كان يومًا ممطرًا اليوم أليس كذلك قضيت اليوم في الداخل لأظل جافًا
+Outputs:
+	كيف تجري الامور؟
+	كان يومًا ممطرًا اليوم، أليس كذلك؟
+	قضيت اليوم في الداخل لأظل جافًا.
 
 ```