second-state
/

Phi-3-mini-4k-instruct-GGUF

Text Generation

Inference Endpoints

Model card Files Files and versions Community

apepkuss79 commited on May 26

Commit

aa11231

•

1 Parent(s): 6abddf4

Update README.md

Files changed (1) hide show

README.md +2 -2

README.md CHANGED Viewed

@@ -58,7 +58,7 @@ tags:
   wasmedge --dir .:. --nn-preload default:GGML:AUTO:Phi-3-mini-4k-instruct-Q5_K_M.gguf \
     llama-api-server.wasm \
     --prompt-template phi-3-chat \
-    --ctx-size 3072 \
     --model-name phi-3-mini
   ```
@@ -68,7 +68,7 @@ tags:
   wasmedge --dir .:. --nn-preload default:GGML:AUTO:Phi-3-mini-4k-instruct-Q5_K_M.gguf \
     llama-chat.wasm \
     --prompt-template phi-3-chat \
-    --ctx-size 3072 \
   ```
 ## Quantized GGUF Models

   wasmedge --dir .:. --nn-preload default:GGML:AUTO:Phi-3-mini-4k-instruct-Q5_K_M.gguf \
     llama-api-server.wasm \
     --prompt-template phi-3-chat \
+    --ctx-size 4000 \
     --model-name phi-3-mini
   ```
   wasmedge --dir .:. --nn-preload default:GGML:AUTO:Phi-3-mini-4k-instruct-Q5_K_M.gguf \
     llama-chat.wasm \
     --prompt-template phi-3-chat \
+    --ctx-size 4000 \
   ```
 ## Quantized GGUF Models