model update

README.md

@@ -1,73 +1,110 @@
+
 ---
-language: ja
-tags:
-- question generation
 license: cc-by-4.0
-datasets:
-- asahi417/qg_jaquad
 metrics:
-- bleu
+- bleu4
 - meteor
-- rouge
+- rouge-l
 - bertscore
-widget:
-- text: "ゾフィーは貴族出身ではあったが王族出身ではなく、ハプスブルク家の皇位継承者であるフランツ・フェルディナントとの結婚は貴賤結婚となった。皇帝フランツ・ヨーゼフは、2人の間に生まれた子孫が皇位を継がないことを条件として結婚を承認していた。視察が予定されている<hl>6月28日<hl>は2人の14回目の結婚記念日であった。"
-  example_title: "Question Generation Example 1"
-- text: "『クマのプーさん』の物語はまず1925年12月24日、『イヴニング・ニュース』紙のクリスマス特集号に短編作品として掲載された。これは『クマのプーさん』の第一章にあたる作品で、このときだけは挿絵をJ.H.ダウドがつけている。その後作品10話と挿絵が整い、刊行に先駆けて「イーヨーの誕生日」のエピソードが1926年8月に『ロイヤルマガジン』に、同年10月9日に『ニューヨーク・イヴニング・ポスト』紙に掲載されたあと、同年10月14日にロンドンで(メシュエン社)、21日にニューヨークで(ダットン社)『クマのプーさん』が刊行された。前著『ぼくたちがとてもちいさかったころ』がすでに大きな成功を収めていたこともあり、イギリスでは初版は前著の7倍に当たる<hl>3万5000部<hl>が刷られた。他方のアメリカでもその年の終わりまでに15万部を売り上げている。ただし依然として人気のあった前著を売り上げで追い越すには数年の時間を要した。"
-  example_title: "Question Generation Example 2"
-- text: "フェルメールの作品では、17世紀のオランダの画家、ヨハネス・フェルメールの作品について記述する。フェルメールの作品は、疑問作も含め<hl>30数点<hl>しか現存しない。現存作品はすべて油彩画で、版画、下絵、素描などは残っていない。以下には若干の疑問作も含め、37点の基本情報を記載し、各作品について略説する。収録順序、推定制作年代は『「フェルメールとその時代展」図録』による。日本語の作品タイトルについては、上掲図録のほか、『「フェルメール展」図録』、『フェルメール生涯と作品』による。便宜上「1650年代の作品」「1660年代の作品」「1670年代の作品」の3つの節を設けたが、フェルメールの作品には制作年代不明のものが多く、推定制作年代については研究者や文献によって若干の差がある。"
-  example_title: "Question Generation Example 3"
-- text: "東大寺は、六宗兼学の場として世に広く知られるようになった。六宗とはすなわち、法相宗(法性宗)、三論宗、倶舎宗(薩婆多宗)、成実宗、華厳宗(花厳宗)、律宗のことであり、すべて<hl>中国<hl>から起こり、伝来したものであった。当時の宗とは、教団というよりは仏教教理の学派に近い。それゆえ、兼学の場ができたとも言える。この様な兼学の形態は、南都の寺院では広く見られたものである。この六宗兼学の場(後、真言、天台加わって八宗兼学の場)の性格は、現在の東大寺でも見られるが、中でも重んじられたのが、本尊の大仏の性格が華厳経の教えに則ったものであることからも分かるように、華厳宗である。"
-  example_title: "Question Generation Example 4"
+- moverscore
+language: ja
+datasets:
+- lmqg/qg_jaquad
 pipeline_tag: text2text-generation
+tags:
+- question generation
+widget:
+- text: "generate question: ゾフィーは貴族出身ではあったが王族出身ではなく、ハプスブルク家の皇位継承者であるフランツ・フェルディナントとの結婚は貴賤結婚となった。皇帝フランツ・ヨーゼフは、2人の間に生まれた子孫が皇位を継がないことを条件として結婚を承認していた。視察が予定されている<hl>6月28日<hl>は2人の14回目の結婚記念日であった。"
+  example_title: "Question Generation Example 1" 
+- text: "generate question: 『クマのプーさん』の物語はまず1925年12月24日、『イヴニング・ニュース』紙のクリスマス特集号に短編作品として掲載された。これは『クマのプーさん』の第一章にあたる作品で、このときだけは挿絵をJ.H.ダウドがつけている。その後作品10話と挿絵が整い、刊行に先駆けて「イーヨーの誕生日」のエピソードが1926年8月に『ロイヤルマガジン』に、同年10月9日に『ニューヨーク・イヴニング・ポスト』紙に掲載されたあと、同年10月14日にロンドンで(メシュエン社)、21日にニューヨークで(ダットン社)『クマのプーさん』が刊行された。前著『ぼくたちがとてもちいさかったころ』がすでに大きな成功を収めていたこともあり、イギリスでは初版は前著の7倍に当たる<hl>3万5000部<hl>が刷られた。他方のアメリカでもその年の終わりまでに15万部を売り上げている。ただし依然として人気のあった前著を売り上げで追い越すには数年の時間を要した。"
+  example_title: "Question Generation Example 2" 
+- text: "generate question: フェルメールの作品では、17世紀のオランダの画家、ヨハネス・フェルメールの作品について記述する。フェルメールの作品は、疑問作も含め<hl>30数点<hl>しか現存しない。現存作品はすべて油彩画で、版画、下絵、素描などは残っていない。以下には若干の疑問作も含め、37点の基本情報を記載し、各作品について略説する。収録順序、推定制作年代は『「フェルメールとその時代展」図録』による。日本語の作品タイトルについては、上掲図録のほか、『「フェルメール展」図録』、『フェルメール生涯と作品』による。便宜上「1650年代の作品」「1660年代の作品」「1670年代の作品」の3つの節を設けたが、フェルメールの作品には制作年代不明のものが多く、推定制作年代については研究者や文献によって若干の差がある。"
+  example_title: "Question Generation Example 3" 
+model-index:
+- name: lmqg/mbart-large-cc25-jaquad
+  results:
+  - task:
+      name: Text2text Generation
+      type: text2text-generation
+    dataset:
+      name: lmqg/qg_jaquad
+      type: default
+      args: default
+    metrics:
+    - name: BLEU4
+      type: bleu4
+      value: 0.32156776073917387
+    - name: ROUGE-L
+      type: rouge-l
+      value: 0.5294969429504184
+    - name: METEOR
+      type: meteor
+      value: 0.2997311570800795
+    - name: BERTScore
+      type: bertscore
+      value: 0.8225831409256842
+    - name: MoverScore
+      type: moverscore
+      value: 0.5987761972106114
 ---
 
-# MBART LARGE CC25 fine-tuned for Japanese Question Generation
-MBART LARGE CC25 Model fine-tuned on Japanese question generation dataset (JaQuAD) with an extensive hyper-parameter search.
-- [Online Demo](https://autoqg.net/)
-- [Project Repository](https://github.com/asahi417/lm-question-generation)
+# Language Models Fine-tuning on Question Generation: `lmqg/mbart-large-cc25-jaquad`
+This model is fine-tuned version of [facebook/mbart-large-cc25](https://huggingface.co/facebook/mbart-large-cc25) for question generation task on the 
+[lmqg/qg_jaquad](https://huggingface.co/datasets/lmqg/qg_jaquad) (dataset_name: default).
 
-## Overview
 
-**Language model:** mbart-large-cc25
-**Language:** Japanese (ja)    
-**Downstream-task:** Question Generation  
-**Training data:** JaQuAD  
-**Eval data:** JaQuAD   
-**Code:**  See [our repository](https://github.com/asahi417/lm-question-generation)
+### Overview
+- **Language model:** [facebook/mbart-large-cc25](https://huggingface.co/facebook/mbart-large-cc25)   
+- **Language:** ja  
+- **Training data:** [lmqg/qg_jaquad](https://huggingface.co/datasets/lmqg/qg_jaquad) (default)
+- **Online Demo:** [https://autoqg.net/](https://autoqg.net/)
+- **Repository:** [https://github.com/asahi417/lm-question-generation](https://github.com/asahi417/lm-question-generation)
+- **Paper:** [TBA](TBA)
 
-## Usage
-### In Transformers
+### Usage
 ```python
+
 from transformers import pipeline
 
-model_path = 'asahi417/lmqg-mbart-large-cc25-jaquad'
+model_path = 'lmqg/mbart-large-cc25-jaquad'
 pipe = pipeline("text2text-generation", model_path)
 
-# Question Genration
-paragraph = '東大寺は、六宗兼学の場として世に広く知られるようになった。六宗とはすなわち、法相宗(法性宗)、三論宗、倶舎宗(薩婆多宗)、成実宗、華厳宗(花厳宗)、律宗のことであり、すべて中国から起こり、伝来したものであった。'
-# highlight an answer in the paragraph to generate question
-answer = '中国'
-highlight_token = '<hl>'
-input_text = paragraph.replace(answer, '{0} {1} {0}'.format(highlight_token, answer))
-generation = pipe(input_text)
-print(generation)
->>> [{'generated_text': '六宗はどの国から起こったものでありますか。'}]
+# Question Generation
+question = pipe('generate question: ゾフィーは貴族出身ではあったが王族出身ではなく、ハプスブルク家の皇位継承者であるフランツ・フェルディナントとの結婚は貴賤結婚となった。皇帝フランツ・ヨーゼフは、2人の間に生まれた子孫が皇位を継がないことを条件として結婚を承認していた。視察が予定されている<hl>6月28日<hl>は2人の14回目の結婚記念日であった。')
 ```
 
-## Evaluations
-Evaluation on the test set of [JaQuAD QG dataset](https://huggingface.co/datasets/asahi417/qg_jaquad).
-All evaluations were done using our [evaluation script](https://github.com/asahi417/lm-question-generation).
+## Evaluation Metrics
+
+
+### Metrics
+
+| Dataset | Type | BLEU4 | ROUGE-L | METEOR | BERTScore | MoverScore | Link |
+|:--------|:-----|------:|--------:|-------:|----------:|-----------:|-----:|
+| [lmqg/qg_jaquad](https://huggingface.co/datasets/lmqg/qg_jaquad) | default | 0.32156776073917387 | 0.5294969429504184 | 0.2997311570800795 | 0.8225831409256842 | 0.5987761972106114 | [link](https://huggingface.co/lmqg/mbart-large-cc25-jaquad/raw/main/eval/metric.first.sentence.paragraph_answer.question.lmqg_qg_jaquad.default.json) | 
+
+
+
 
-| BLEU 4 | ROUGE L  | METEOR | BERTScore |
-| ------ | -------- | ------ | --------- |
-| 32.15  | 52.94    | 29.97  | 82.25     |
+## Training hyperparameters
 
-- [metric file](https://huggingface.co/asahi417/lmqg-mbart-large-cc25-jaquad/raw/main/eval/metric.first.sentence.paragraph_answer.question.asahi417_qg_jaquad.default.json)
+The following hyperparameters were used during fine-tuning:
+ - dataset_path: lmqg/qg_jaquad
+ - dataset_name: default
+ - input_types: ['paragraph_answer']
+ - output_types: ['question']
+ - prefix_types: None
+ - model: facebook/mbart-large-cc25
+ - max_length: 512
+ - max_length_output: 32
+ - epoch: 12
+ - batch: 64
+ - lr: 0.0001
+ - fp16: False
+ - random_seed: 1
+ - gradient_accumulation_steps: 1
+ - label_smoothing: 0.15
 
-## Fine-tuning Parameters
-We ran grid search to find the best hyper-parameters and continued fine-tuning until the validation metric decrease.
-The best hyper-parameters can be found [here](https://huggingface.co/asahi417/lmqg-mbart-large-cc25-jaquad/raw/main/trainer_config.json), and fine-tuning script is released in [our  repository](https://github.com/asahi417/lm-question-generation).
+The full configuration can be found at [fine-tuning config file](https://huggingface.co/lmqg/mbart-large-cc25-jaquad/raw/main/trainer_config.json).
 
 ## Citation
 TBA

trainer_config.json

@@ -1 +1 @@
-{"dataset_path": "asahi417/qg_jaquad", "dataset_name": "default", "input_types": ["paragraph_answer"], "output_types": ["question"], "prefix_types": null, "model": "facebook/mbart-large-cc25", "max_length": 512, "max_length_output": 32, "epoch": 12, "batch": 64, "lr": 0.0001, "fp16": false, "random_seed": 1, "gradient_accumulation_steps": 1, "label_smoothing": 0.15}
+{"dataset_path": "lmqg/qg_jaquad", "dataset_name": "default", "input_types": ["paragraph_answer"], "output_types": ["question"], "prefix_types": null, "model": "facebook/mbart-large-cc25", "max_length": 512, "max_length_output": 32, "epoch": 12, "batch": 64, "lr": 0.0001, "fp16": false, "random_seed": 1, "gradient_accumulation_steps": 1, "label_smoothing": 0.15}