Update handler.py
Browse files- handler.py +11 -2
handler.py
CHANGED
@@ -1,13 +1,22 @@
|
|
1 |
from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline
|
2 |
-
import
|
3 |
|
4 |
class EndpointHandler:
|
5 |
def __init__(self, path=""):
|
6 |
# ระบุชื่อโมเดลใน Hugging Face Hub
|
7 |
model_name = "niruemon/llm-swp"
|
8 |
|
|
|
|
|
|
|
|
|
9 |
# โหลดโมเดลและ tokenizer
|
10 |
-
self.model = AutoModelForCausalLM.from_pretrained(
|
|
|
|
|
|
|
|
|
|
|
11 |
self.tokenizer = AutoTokenizer.from_pretrained(model_name)
|
12 |
|
13 |
# สร้าง pipeline สำหรับการสร้างข้อความ
|
|
|
1 |
from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline
|
2 |
+
import os
|
3 |
|
4 |
class EndpointHandler:
|
5 |
def __init__(self, path=""):
|
6 |
# ระบุชื่อโมเดลใน Hugging Face Hub
|
7 |
model_name = "niruemon/llm-swp"
|
8 |
|
9 |
+
# กำหนดไดเรกทอรีสำหรับการ offload โมเดล (สร้างขึ้นถ้ายังไม่มี)
|
10 |
+
offload_dir = "./offload"
|
11 |
+
os.makedirs(offload_dir, exist_ok=True)
|
12 |
+
|
13 |
# โหลดโมเดลและ tokenizer
|
14 |
+
self.model = AutoModelForCausalLM.from_pretrained(
|
15 |
+
model_name,
|
16 |
+
device_map="auto",
|
17 |
+
torch_dtype=torch.float16,
|
18 |
+
offload_folder=offload_dir
|
19 |
+
)
|
20 |
self.tokenizer = AutoTokenizer.from_pretrained(model_name)
|
21 |
|
22 |
# สร้าง pipeline สำหรับการสร้างข้อความ
|