metadata

tags:
  - summarization
  - mT5
language:
  - th
widget:
  - novel: >-
      ผมกินตับหมูดิบแล้วหมดสติไป พอฟื้นอีกทีในต่างโลกดันกลายเป็นหมูซะงั้น!
      คนที่ช่วยผมเอาไว้คือเจส สาวน้อยผู้อ่านใจคนได้ อู๊ด! น่ารัก!
      ระดับสายตาหมูทำให้เห็นอะไรสีขาวบริสุทธิ์แวบๆ แจ่มเลย... “เอ่อ
      ฉันได้ยินเสียงในใจของคุณนะคะ…” ฉิบแล้ว! ความมักมากรั่วไหลหมด!
      แม้ว่าชีวิตประสาหมูที่มีเด็กสาวผู้อ่อนโยนคอยดูแลจะไม่เลว
      ผมก็ตัดสินใจมุ่งหน้าสู่นครหลวงพร้อมกับเจสเพื่อหาทางกลับเป็นมนุษย์
      การเดินทางแสนรื่นรมย์จึงเริ่มต้นขึ้น...
      แต่ไหงเราถึงถูกตามล่าเอาชีวิตล่ะเนี่ย!?

mt5-base-thaisum

This repository contains the finetuned mT5-base model for Thai sentence summarization. The architecture of the model is based on mT5 model and fine-tuned on text-summarization pairs in Thai.

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 5e-04
train_batch_size: 8
eval_batch_size: 1
seed: 42
optimizer: AdamW with betas=(0.9,0.999), epsilon=1e-08 and weight_decay=0.1
warmup step: 5000
lr_scheduler_type: linear
num_epochs: 6
gradient_accumulation_steps: 4

Framework versions

Transformers
Pytorch
Tokenizers