Safetensors
aixsatoshi commited on
Commit
8815350
1 Parent(s): c74db76

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +12 -12
README.md CHANGED
@@ -2,19 +2,19 @@
2
  license: cc-by-4.0
3
  ---
4
 
5
- Mixtral8X7B Instructの日本語生成を安定させるためのLora実験モデルです
6
 
7
  **目的**
8
- Mixtral-8x7Bは優秀な言語モデルですが、日本語のアウトプットに、多言語が混入するcode-switchingがよく見られます
9
- 元の性能を維持しながら、日本語生成を安定させる方法としてLoraの効果を検証しました
10
 
11
  **学習データセット**
12
- 学習データセットとして、下記のDPOデータセットを使用しています
13
- 今回は、chosenのデータを使用しsft学習しています
14
 
15
  Chatbot Arena Conversations JA (calm2) Dataset
16
  lmsys/chatbot_arena_conversationsのユーザ入力(CC-BY 4.0)を和訳
17
- 和訳にはfacebookの翻訳モデル(MIT License)が使用されています
18
  [cyberagent/chatbot-arena-ja-calm2-7b-chat-experimental](https://huggingface.co/datasets/cyberagent/chatbot-arena-ja-calm2-7b-chat-experimental)
19
 
20
  **evaluation**
@@ -64,12 +64,12 @@ num_fewshot: 2, batch_size: 1
64
  | | |f1 |78.7550| | |
65
 
66
  **考察**
67
- 追加の事前学習なく安定した日本語出力が可能となったのは以下の作用と考えました
68
- 未学習のモデルでは、日本語のシグナルが弱く言語選択が不安定になっていると推測されます
69
  Loraのみでも日本語コードへのバイアスを一定レベル強めることが可能となり、
70
- もともと学習していた日本語のシグナルを抽出しやすくなったと考えられました
71
 
72
  **その他検証事項**
73
- 過度な日本語出力バイアスはなく、他の言語も出力可能でした
74
- context長は4096tokenまでの学習だが、4k token以上の出力も可能です
75
- 一定以上の出力後、日本語出力のバイアスが安定するのかもしれないです
 
2
  license: cc-by-4.0
3
  ---
4
 
5
+ Mixtral8X7B Instructの日本語生成を安定させるためのLora実験モデルです。
6
 
7
  **目的**
8
+ Mixtral-8x7Bは優秀な言語モデルですが、日本語のアウトプットに、多言語が混入するcode-switchingがよく見られます。
9
+ 元の性能を維持しながら、日本語生成を安定させる方法としてLoraの効果を検証しました。
10
 
11
  **学習データセット**
12
+ 学習データセットとして、下記のDPOデータセットを使用しています。
13
+ 今回は、chosenのデータを使用しsft学習しています。
14
 
15
  Chatbot Arena Conversations JA (calm2) Dataset
16
  lmsys/chatbot_arena_conversationsのユーザ入力(CC-BY 4.0)を和訳
17
+ 和訳にはfacebookの翻訳モデル(MIT License)が使用されています。
18
  [cyberagent/chatbot-arena-ja-calm2-7b-chat-experimental](https://huggingface.co/datasets/cyberagent/chatbot-arena-ja-calm2-7b-chat-experimental)
19
 
20
  **evaluation**
 
64
  | | |f1 |78.7550| | |
65
 
66
  **考察**
67
+ 追加の事前学習なく安定した日本語出力が可能となったのは以下の作用と考えました。
68
+ 未学習のモデルでは、日本語のシグナルが弱く言語選択が不安定になっていると推測されます。
69
  Loraのみでも日本語コードへのバイアスを一定レベル強めることが可能となり、
70
+ もともと学習していた日本語のシグナルを抽出しやすくなったと考えられました。
71
 
72
  **その他検証事項**
73
+ 過度な日本語出力バイアスはなく、他の言語も出力可能でした。
74
+ context長は4096tokenまでの学習だが、4k token以上の出力も可能です。
75
+ 一定以上の出力後、日本語出力のバイアスが安定するのかもしれないです。