|
--- |
|
tags: |
|
- summarization |
|
- mT5 |
|
language: |
|
- th |
|
widget: |
|
- taxt: "ผมกินตับหมูดิบแล้วหมดสติไป พอฟื้นอีกทีในต่างโลกดันกลายเป็นหมูซะงั้น! คนที่ช่วยผมเอาไว้คือเจส สาวน้อยผู้อ่านใจคนได้ อู๊ด! น่ารัก! ระดับสายตาหมูทำให้เห็นอะไรสีขาวบริสุทธิ์แวบๆ แจ่มเลย... “เอ่อ ฉันได้ยินเสียงในใจของคุณนะคะ…” ฉิบแล้ว! ความมักมากรั่วไหลหมด! แม้ว่าชีวิตประสาหมูที่มีเด็กสาวผู้อ่อนโยนคอยดูแลจะไม่เลว ผมก็ตัดสินใจมุ่งหน้าสู่นครหลวงพร้อมกับเจสเพื่อหาทางกลับเป็นมนุษย์ การเดินทางแสนรื่นรมย์จึงเริ่มต้นขึ้น... แต่ไหงเราถึงถูกตามล่าเอาชีวิตล่ะเนี่ย!?" |
|
- example_title: "Novel" |
|
--- |
|
|
|
# mt5-base-thaisum |
|
This repository contains the finetuned mT5-base model for Thai sentence summarization. The architecture of the model is based on mT5 model and fine-tuned on text-summarization pairs in Thai. |
|
|
|
## Training procedure |
|
|
|
### Training hyperparameters |
|
|
|
The following hyperparameters were used during training: |
|
- learning_rate: 5e-04 |
|
- train_batch_size: 8 |
|
- eval_batch_size: 1 |
|
- seed: 42 |
|
- optimizer: AdamW with betas=(0.9,0.999), epsilon=1e-08 and weight_decay=0.1 |
|
- warmup step: 5000 |
|
- lr_scheduler_type: linear |
|
- num_epochs: 6 |
|
- gradient_accumulation_steps: 4 |
|
|
|
### Framework versions |
|
|
|
- Transformers |
|
- Pytorch |
|
- Tokenizers |
|
|
|
|
