# GPT-2 Fine-tuning With Vietnamese Six Eight Poems
## Model description
This is a Vietnamese GPT-2 Six Eight Poet Model which is trained on the 10mb of Six Eight poems dataset, based on the Vietnamese Wiki GPT2 pretrained model (https://huggingface.co/danghuy1999/gpt2-viwiki)

## Purpose
This model was made only for fun and experimental study

## Dataset
The dataset is about 10k lines of Vietnamese Six Eight poems

## Result
- Train Loss: 2.7
- Val loss: 4.5



## How to use
You can use this model to generate Six Eight poems given any starting words

## Example
```python
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM


device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
tokenizer = AutoTokenizer.from_pretrained("tuanle/GPT2_Poet")

model = AutoModelForCausalLM.from_pretrained("tuanle/GPT2_Poet").to(device)
text = "hỏi rằng nàng"

input_ids = tokenizer.encode(text, return_tensors='pt').to(device)
min_length = 60
max_length = 100

sample_outputs = model.generate(input_ids,pad_token_id=tokenizer.eos_token_id,
                                   do_sample=True,
                                   max_length=max_length,
                                   min_length=min_length,
                                #    temperature = .8,
                                #    top_k= 100,
                                   top_p = 0.8,
                                   num_beams= 10,
                                #    early_stopping=True,
                                   no_repeat_ngram_size= 2,
                                   num_return_sequences= 3)

for i, sample_output in enumerate(sample_outputs):
    print(">> Generated text {}\n\n{}".format(i+1, tokenizer.decode(sample_output.tolist(), skip_special_tokens=True)))
    print('\n---')
```

## Demo
- Input: "hỏi rằng nàng"
- Output:
hỏi rằng nàng đã nói ra\
cớ sao nàng lại hỏi han sự tình\
vân tiên nói lại những lời\
thưa rằng ở chốn am mây một mình\
từ đây mới biết rõ ràng\
ở đây cũng gặp một người ở đây\
hai người gặp lại gặp nhau\
thấy lời nàng mới hỏi tra việc này\
nguyệt nga hỏi việc bấy lâu\
khen rằng đạo sĩ ở đầu cửa thiền