mmnga commited on
Commit
13ea832
1 Parent(s): 8df4fa2

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +9 -4
README.md CHANGED
@@ -8,14 +8,19 @@ tags:
8
  # stockmark-gpt-neox-japanese-1.4b-gguf
9
  [stockmarkさんが公開しているgpt-neox-japanese-1.4b](https://huggingface.co/stockmark/gpt-neox-japanese-1.4b)のggufフォーマット変換版です。
10
 
11
- llama.cppのexamplesで動かせます。
12
- *llama.cpp本家は開発速度が早く、clone先をブランチに変更しました。*
13
 
14
  ## Usage (試用)
15
 
16
  ```
17
  git clone --branch mmnga-dev https://github.com/mmnga/llama.cpp.git
18
  cd llama.cpp
19
- make -j gptneox
20
- ./gptneox -m 'stockmark-gpt-neox-japanese-1.4b-q4_0.gguf' -n 128 -t 8 -p '吾輩って猫だったの!?'
 
 
 
 
 
 
21
  ```
 
8
  # stockmark-gpt-neox-japanese-1.4b-gguf
9
  [stockmarkさんが公開しているgpt-neox-japanese-1.4b](https://huggingface.co/stockmark/gpt-neox-japanese-1.4b)のggufフォーマット変換版です。
10
 
11
+ 注意:こちらはブランチで試用になります。llama.cpp本家にgptneoxが実装された時に、このggufファイルが使用できない可能性があります。
 
12
 
13
  ## Usage (試用)
14
 
15
  ```
16
  git clone --branch mmnga-dev https://github.com/mmnga/llama.cpp.git
17
  cd llama.cpp
18
+ make -j
19
+ ./main -m 'stockmark-gpt-neox-japanese-1.4b-q4_0.gguf' -n 128 -p '吾輩は猫である。名前は実を言うと、' --top_p 0.9 --temp 0.7 --repeat-penalty 1.1
20
+ ```
21
+
22
+ **CUBLAS**
23
+ ```
24
+ LLAMA_CUBLAS=1 make -j
25
+ ./main -m 'stockmark-gpt-neox-japanese-1.4b-q4_0.gguf' -n 128 -p '吾輩は猫である。名前は実を言うと、' -ngl 32
26
  ```