|
---
|
|
library_name: transformers
|
|
tags:
|
|
- dpo
|
|
license: mit
|
|
datasets:
|
|
- llm-jp/hh-rlhf-12k-ja
|
|
language:
|
|
- ja
|
|
---
|
|
|
|
## モデル
|
|
|
|
- ベースモデル：[microsoft/Phi-3-mini-4k-instruct](https://huggingface.co/microsoft/Phi-3-mini-4k-instruct)
|
|
- 学習データセット：[llm-jp/hh-rlhf-12k-ja](https://huggingface.co/datasets/llm-jp/hh-rlhf-12k-ja)
|
|
- 学習方式：フルパラメータチューニング
|
|
|
|
## サンプル
|
|
|
|
```python
|
|
import torch
|
|
from transformers import AutoTokenizer, AutoModelForCausalLM
|
|
|
|
|
|
tokenizer = AutoTokenizer.from_pretrained(
|
|
"ryota39/Phi-3-mini-4k-instruct-dpo",
|
|
trust_remote_code=True,
|
|
)
|
|
|
|
model = AutoModelForCausalLM.from_pretrained(
|
|
"ryota39/Phi-3-mini-4k-instruct-dpo",
|
|
device_map="auto",
|
|
torch_dtype='auto',
|
|
trust_remote_code=True,
|
|
)
|
|
|
|
text = "<|user|>\n与えられた質問に対して英語で思考し、日本語で答えてください。東京の観光地を教えてください。\n<|end|>\n<|assistant|>\n"
|
|
tokenized_input = tokenizer.encode(
|
|
text,
|
|
add_special_tokens=False,
|
|
return_tensors="pt"
|
|
).to(model.device)
|
|
|
|
with torch.no_grad():
|
|
output = model.generate(
|
|
tokenized_input,
|
|
max_new_tokens=500,
|
|
do_sample=True,
|
|
top_p=0.95,
|
|
temperature=0.8,
|
|
repetition_penalty=1.0
|
|
)[0]
|
|
|
|
print(tokenizer.decode(output))
|
|
|
|
```
|
|
|
|
## 出力例
|
|
|
|
```
|
|
<|user|> 与えられた質問に対して英語で思考し、日本語で答えてください。東京の観光地を教えてください。
|
|
<|end|><|assistant|> 東京には様々な観光地がありますが、代表的なものとして以下のようなものがあります。
|
|
|
|
1. 浅草寺（あさくさじ） - 歴史ある寺院で、浅草の様々な景観や、人々が集まる場所です。
|
|
2. 東京タワー - 日本の象徴的な電波塔であり、東京の景色を眺めるのに最適な場所です。
|
|
3. 皇居（こうこく） - 日本の皇族が住んでいる皇居で、日本の歴史を感じられる郊外もあります。
|
|
4. 渋谷スクランブル交差点 - 日本のトレンドを象徴するスクランブル交差点で、最新のストリートファッションやアートを見ることができます。
|
|
5. 渋谷の百 ár - 若者の雰囲気を感じられるショップ街で、最新のグッズを見つけることができます。
|
|
|
|
これらは東京を象徴する一部の観光地ですが、他にもたくさんの観光地がありますので、ご興味のある場所をご確認ください。<|end|>
|
|
|
|
```
|
|
|
