Update README.md

README.md

@@ -5,7 +5,7 @@ datasets:
 tags:
 - generated_from_trainer
 widget:
-- text: "Antwort: Sanktionen und Kürzungen der Bezüge Lösung: Merkblatt 1 für Arbeitslose, S. 23, 24: Um Anspruch auf Arbeitslosengeld zu haben, müssen Sie für Vermittlungsbemühungen Ihrer Agentur für Arbeit zur Verfügung stehen. Sie müssen: 1. Vorschlägen der Arbeitsagentur zur beruflichen Eingliederung zeit- und ortsnah Folge leisten. Sie haben deshalb sicherzustellen, dass Ihre Agentur für Arbeit Sie persönlich an jedem Werktag unter der von Ihnen benannten Anschrift durch Briefpost erreichen kann (Erreichbarkeit); 2. Eine versicherungspflichtige, mindestens 15 Stunden wöchentlich umfassende Beschäftigung unter den auf dem Arbeitsmarkt allgemein üblichen Arbeitsbedingungen ausüben können und dürfen (Erwerbsfähigkeit); 3. Bereit sein, an Maßnahmen zur beruflichen Eingliederung in das Erwerbsleben teilzunehmen (Bereitschaft zur Teilnahme an Eingliederungsmaßnahmen); 4. Bereit sein, jede Ihnen zumutbare Beschäftigung anzunehmen (Bereitschaft zur Annahme und Aufnahme jeder zumutbaren Beschäftigung) Frage: Mit welcher Folge und welcher Dauer müssen Sie rechnen, wenn Sie Ihre notwendigen Eigenbemühungen nicht rechtzeitig oder nicht vollständig erfüllen?"
+- text: "Antwort: Wird sich nicht an die Auflagen gehalten (unzureichende Eigenbemühung), droht eine Sperrzeit von 1-2 Wochen. Dadurch wird für die genannte zeit keine Leistung gezahlt, die Anspruchsdauer vermindert sich insgesamt. Bei wichtigen Gründen wird die Sperrzeit nicht verordnet. Lösung: Merkblatt 1 für Arbeitslose, S. 22: Erbringen Sie die Pflichten im Zusammenhang mit den Eigenbemühungen nicht, nicht rechtzeitig oder nicht vollständig, tritt eine Sperrzeit (0,75 p) ein. Merkblatt 1 für Arbeitslose, S. 55: Die Dauer einer Sperrzeit bei unzureichenden Eigenbemühungen beträgt zwei Wochen. (0,25 p). Frage: Mit welcher Folge und welcher Dauer müssen Sie rechnen, wenn Sie Ihre notwendigen Eigenbemühungen nicht rechtzeitig oder nicht vollständig erfüllen?"
 ---
 
 # mbart-finetuned-saf-legal-domain
@@ -84,8 +84,8 @@ The following results were achieved.
 
 | Split                 | SacreBLEU | ROUGE-2 | METEOR | BERTScore | Accuracy | Weighted F1 | Macro F1 | 
 | --------------------- | :-------: | :-----: | :----: | :-------: | :------: | :---------: | :------: |
-| test_unseen_answers   | 43.6	    | 45.3    | 57.4   | 55.0      | 81.0     | 79.4        | 71.3     |
-| test_unseen_questions | 3.0       | 4.2     | 19.9   | 16.1      | 60.0     | 54.4        | 53.2     |
+| test_unseen_answers   | 42.8	    | 43.7    | 58.2   | 57.5      | 81.0     | 80.1        | 74.6     |
+| test_unseen_questions | 3.2       | 5.0     | 20.0   | 14.8      | 60.7     | 55.3        | 55.4     |
 
 
 The script used to compute these metrics and perform evaluation can be found in the `evaluation.py` file in this repository.
@@ -100,7 +100,7 @@ from transformers import AutoModelForSeq2SeqLM, AutoTokenizer
 model = AutoModelForSeq2SeqLM.from_pretrained('Short-Answer-Feedback/mbart-finetuned-saf-legal-domain')
 tokenizer = AutoTokenizer.from_pretrained('Short-Answer-Feedback/mbart-finetuned-saf-legal-domain')
 
-example_input = 'Antwort: Sanktionen und Kürzungen der Bezüge Lösung: Merkblatt 1 für Arbeitslose, S. 23, 24: Um Anspruch auf Arbeitslosengeld zu haben, müssen Sie für Vermittlungsbemühungen Ihrer Agentur für Arbeit zur Verfügung stehen. Sie müssen: 1. Vorschlägen der Arbeitsagentur zur beruflichen Eingliederung zeit- und ortsnah Folge leisten. Sie haben deshalb sicherzustellen, dass Ihre Agentur für Arbeit Sie persönlich an jedem Werktag unter der von Ihnen benannten Anschrift durch Briefpost erreichen kann (Erreichbarkeit); 2. Eine versicherungspflichtige, mindestens 15 Stunden wöchentlich umfassende Beschäftigung unter den auf dem Arbeitsmarkt allgemein üblichen Arbeitsbedingungen ausüben können und dürfen (Erwerbsfähigkeit); 3. Bereit sein, an Maßnahmen zur beruflichen Eingliederung in das Erwerbsleben teilzunehmen (Bereitschaft zur Teilnahme an Eingliederungsmaßnahmen); 4. Bereit sein, jede Ihnen zumutbare Beschäftigung anzunehmen (Bereitschaft zur Annahme und Aufnahme jeder zumutbaren Beschäftigung) Frage: Mit welcher Folge und welcher Dauer müssen Sie rechnen, wenn Sie Ihre notwendigen Eigenbemühungen nicht rechtzeitig oder nicht vollständig erfüllen?'
+example_input = 'Antwort: Wird sich nicht an die Auflagen gehalten (unzureichende Eigenbemühung), droht eine Sperrzeit von 1-2 Wochen. Dadurch wird für die genannte zeit keine Leistung gezahlt, die Anspruchsdauer vermindert sich insgesamt. Bei wichtigen Gründen wird die Sperrzeit nicht verordnet. Lösung: Merkblatt 1 für Arbeitslose, S. 22: Erbringen Sie die Pflichten im Zusammenhang mit den Eigenbemühungen nicht, nicht rechtzeitig oder nicht vollständig, tritt eine Sperrzeit (0,75 p) ein. Merkblatt 1 für Arbeitslose, S. 55: Die Dauer einer Sperrzeit bei unzureichenden Eigenbemühungen beträgt zwei Wochen. (0,25 p). Frage: Mit welcher Folge und welcher Dauer müssen Sie rechnen, wenn Sie Ihre notwendigen Eigenbemühungen nicht rechtzeitig oder nicht vollständig erfüllen?'
 inputs = tokenizer(example_input, max_length=256, padding='max_length', truncation=True, return_tensors='pt')
 
 generated_tokens = model.generate(
@@ -114,5 +114,5 @@ output = tokenizer.batch_decode(generated_tokens, skip_special_tokens=True)[0]
 The output produced by the model then looks as follows:
 
 ```
-Incorrect Feedback: Erbringen Sie die notwendigen Eigenbemühungen, müssen mit einer Sperrzeit von zwei Wochen rechnen. Bitte beachten Sie, dass Sie in der Regel bereits in der Eingliederungsvereinbarung auf die Rechtsfolgen unzureichender Eigenbemühungen schriftlich hingewiesen werden. Das führt dazu, dass die gesetzlich vorgesehene Sperrzeit von zwei Wochen auch ohne vorherige Abbruch eintreten kann.
+Partially correct Feedback: Es ist richtig, dass Sie mit einer Sperrzeit rechnen müssen, in der Sie keine Leistung bekommen. Die gesetzlich vorgesehene Sperrzeit bei unzureichenden Eigenbemühungen beträgt jedoch zwei Wochen.
 ```