from Prompter import Prompter from Callback import Stream, Iteratorize import os import sys import gradio as gr import torch import transformers from peft import PeftModel from transformers import GenerationConfig, LlamaForCausalLM, LlamaTokenizer import pandas as pd import numpy as np if torch.cuda.is_available(): device = "cuda" else: device = "cpu" try: if torch.backends.mps.is_available(): device = "mps" except: # noqa: E722 pass base_model = "openthaigpt/openthaigpt-1.0.0-beta-7b-chat-ckpt-hf" load_8bit = True # lora_weights = "PLatonG/openthaigpt-1.0.0-beta-7b-expert-recommendations" lora_weights = "PLatonG/openthaigpt-1.0.0-beta-7b-expert-recommendations" prompter = Prompter("alpaca") tokenizer = LlamaTokenizer.from_pretrained(base_model) model = LlamaForCausalLM.from_pretrained( base_model, load_in_8bit=load_8bit, torch_dtype=torch.float16, device_map="auto", offload_folder = "./offload" ) model = PeftModel.from_pretrained( model, lora_weights, torch_dtype=torch.float16, offload_folder = "./offload" ) # unwind broken decapoda-research config model.config.pad_token_id = tokenizer.pad_token_id = 0 # unk model.config.bos_token_id = 1 model.config.eos_token_id = 2 if not load_8bit: model.half() # seems to fix bugs for some users. model.eval() if torch.__version__ >= "2" and sys.platform != "win32": model = torch.compile(model) def evaluate( instruction, input=None, stream_output=False, **kwargs, ): temperature=0.5 top_p=0.75 top_k=40 num_beams=4 max_new_tokens=380 prompt = prompter.generate_prompt(instruction, input) inputs = tokenizer(prompt, return_tensors="pt") input_ids = inputs["input_ids"].to(device) generation_config = GenerationConfig( temperature=temperature, top_p=top_p, top_k=top_k, num_beams=num_beams, **kwargs, ) generate_params = { "input_ids": input_ids, "generation_config": generation_config, "return_dict_in_generate": True, "output_scores": True, "max_new_tokens": max_new_tokens, } if stream_output: # Stream the reply 1 token at a time. # This is based on the trick of using 'stopping_criteria' to create an iterator, # from https://github.com/oobabooga/text-generation-webui/blob/ad37f396fc8bcbab90e11ecf17c56c97bfbd4a9c/modules/text_generation.py#L216-L243. def generate_with_callback(callback=None, **kwargs): kwargs.setdefault( "stopping_criteria", transformers.StoppingCriteriaList() ) kwargs["stopping_criteria"].append( Stream(callback_func=callback) ) with torch.no_grad(): model.generate(**kwargs) def generate_with_streaming(**kwargs): return Iteratorize( generate_with_callback, kwargs, callback=None ) with generate_with_streaming(**generate_params) as generator: for output in generator: # new_tokens = len(output) - len(input_ids[0]) decoded_output = tokenizer.decode(output) if output[-1] in [tokenizer.eos_token_id]: break yield prompter.get_response(decoded_output) return # early return for stream_output # Without streaming with torch.no_grad(): generation_output = model.generate( input_ids=input_ids, generation_config=generation_config, return_dict_in_generate=True, output_scores=True, max_new_tokens=max_new_tokens, ) s = generation_output.sequences[0] output = tokenizer.decode(s) yield prompter.get_response(output) # From SMOTE with 4 neightbor fourNSMOTE = pd.read_csv("FILTER_GREATERTHANTHREE_FROM_SHEETS_SMOTE_train.csv") with gr.Blocks() as demo: birth_year = gr.components.Number(minimum = 2536, maximum = 2557, value= 2545, label="ปีเกิด", info="ต่ำสุด : 2536 สูงสุด : 2557") nationality_name = gr.components.Dropdown(choices=fourNSMOTE.NATIONALITY_NAME.unique().tolist(), label="สัญชาติ", value = fourNSMOTE.NATIONALITY_NAME.unique().tolist()[0]) religion_name = gr.components.Dropdown(choices=fourNSMOTE.RELIGION_NAME.unique().tolist(), label="ศาสนา", value = fourNSMOTE.RELIGION_NAME.unique().tolist()[0]) sex = gr.components.Dropdown(choices=fourNSMOTE.JVN_SEX.unique().tolist(), label="เพศ", value = fourNSMOTE.JVN_SEX.unique().tolist()[0]) inform_status = gr.components.Dropdown(choices=fourNSMOTE.INFORM_STATUS_TXT.unique().tolist(), label="เหตุที่นำมาสู่การดำเนินคดี", value = fourNSMOTE.INFORM_STATUS_TXT.unique().tolist()[0]) age = gr.components.Number(minimum = 10, maximum = 19, value= 17, label="อายุตอนกระทำผิด", info="ต่ำสุด : 10 ปี สูงสุด : 19") offense_name = gr.components.Dropdown(choices=fourNSMOTE.OFFENSE_NAME.unique().tolist(), label="คดีที่กระทำผิด", value = fourNSMOTE.OFFENSE_NAME.unique().tolist()[0]) ref_value = fourNSMOTE.OFFENSE_NAME.unique().tolist()[0] allegation_name = gr.components.Dropdown(choices=fourNSMOTE.ALLEGATION_NAME.unique().tolist(), label="ชื่อของข้อกล่าวหา", value = fourNSMOTE.query("OFFENSE_NAME == @ref_value")["ALLEGATION_NAME"].unique().tolist()[0]) allegation_desc = gr.components.Dropdown(choices=fourNSMOTE.ALLEGATION_DESC.unique().tolist(), label="รายละเอียดของข้อกล่าวหา", value = fourNSMOTE.query("OFFENSE_NAME == @ref_value")["ALLEGATION_DESC"].unique().tolist()[0]) def update_dropDown(value): query_state = fourNSMOTE.query("OFFENSE_NAME == @value") allegation_name = gr.components.Dropdown(choices=query_state["ALLEGATION_NAME"].unique().tolist()) allegation_desc = gr.components.Dropdown(choices=query_state["ALLEGATION_DESC"].unique().tolist()) return allegation_name, allegation_desc offense_name.change(fn=update_dropDown, inputs=offense_name, outputs=[allegation_name, allegation_desc]) rn1 = gr.components.Radio(choices=["ถูก", "ผิด"], label="ปรากฎลักษณะนิสัย/พฤติกรรมที่ไม่เหมาะสมของบุคคลในครอบครัวและบุคคลที่เด็ก/เยาวชนอาศัยอยู่", value="ถูก") rn2 = gr.components.Radio(choices=["ถูก", "ผิด"], label="ปรากฎประวัติการกระทำผิดของบุคคลในครอบครัวและบุคคลที่เด็ก/เยาวชนอาศัยอยู่ด้วย", value = "ถูก") rn3 = gr.components.Radio(choices=["ถูก", "ผิด"], label="ปรากฎประวัติการเกี่ยวข้องกับยาเสพติดของบุคคลในครอบครัว", value = "ถูก") education = gr.components.Dropdown(choices=fourNSMOTE.RN3_14_HIS_EDU_FLAG.unique().tolist(), label="สถาณะการศึกษา", value = fourNSMOTE.RN3_14_HIS_EDU_FLAG.unique().tolist()[0]) occupation = gr.components.Dropdown(choices=fourNSMOTE.RN3_19_OCCUPATION_STATUS.unique().tolist(), label="สถาณะการประกอบอาชีพ", value = fourNSMOTE.RN3_19_OCCUPATION_STATUS.unique().tolist()[0]) province = gr.components.Dropdown(choices=fourNSMOTE.PROVINCE_NAME.unique().tolist(), label="จังหวัดที่กระทำผิด", value = fourNSMOTE.PROVINCE_NAME.unique().tolist()[0]) def generate_input(birth_year, nationality_name, religion_name, sex, inform_status, age, offense_name, allegation_name, allegation_desc, rn1, rn2, rn3, education, occupation, province): birth_year = f"เกิดเมื่อปี พ.ศ. {int(birth_year)}" if int(age) >= 10 or int(age) <=15: age = f"มีอายุอยู่ในช่วง 10 ถึง 15 ปี" elif int(age) >=16 or int(age) <= 20: age = f"มีอายุอยู่ในช่วง 16 ถึง 20 ปี" elif int(age) >=21 or int(age) <= 25: age = f"มีอายุอยู่ในช่วง 21 ถึง 25 ปี" elif int(age) >=26: age = f"มีอายุอยู่ในช่วง 26 ปีขึ้นไป" if rn1 == "ถูก": rn1 = "มีลักษณะนิสัย/พฤติกรรมที่ไม่เหมาะสมของบุคคลในครอบครัวและบุคคลที่เด็ก/เยาวชนอาศัยอยู่" else: rn1 = "ไม่มีลักษณะนิสัย/พฤติกรรมที่ไม่เหมาะสมของบุคคลในครอบครัวและบุคคลที่เด็ก/เยาวชนอาศัยอยู่" if rn2 == "ถูก": rn2 = "มีประวัติการกระทำผิดของบุคคลในครอบครัวและบุคคลที่เด็ก/เยาวชนอาศัยอยู่ด้วย" else: rn2 = "ไม่มีประวัติการกระทำผิดของบุคคลในครอบครัวและบุคคลที่เด็ก/เยาวชนอาศัยอยู่ด้วย" if rn3 == "ถูก": rn3 = "มีประวัติการเกี่ยวข้องกับยาเสพติดของบุคคลในครอบครัว" else: rn3 = "ไม่มีประวัติการเกี่ยวข้องกับยาเสพติดของบุคคลในครอบครัว" instruciton = "จงสร้างคำแนะนำของผู้เชี่ยวชาญจากปัจจัยดังต่อไปนี้" input = f"{birth_year} {nationality_name} {religion_name} {sex} {inform_status} {age} {offense_name} {allegation_name} {allegation_desc} {rn1} {rn2} {rn3} {education} {occupation} {province}" return input def generate_output(instruction, input): return input def generate_input2(*values): return "คำสั่ง : จงสร้างคำแนะนำของผู้เชี่ยวชาญจากปัจจัยดังต่อไปนี้ " + " ".join(str(value) for value in values) instruction = gr.Textbox(label = "คำสั่ง", value="จงสร้างคำแนะนำของผู้เชี่ยวชาญจากปัจจัยดังต่อไปนี้", visible=True, interactive=False) input_compo = gr.Textbox(label = "ข้อมูลเข้า (input)") btn1 = gr.Button("GENERATE INPUT") outputModel = gr.Textbox(label= "ผลลัพธ์ (output)") stream_output = gr.components.Checkbox(label="Stream output") # show input text format for user btn1.click(fn=generate_input, inputs=[birth_year, nationality_name, religion_name, sex, inform_status, age, offense_name, allegation_name, allegation_desc, rn1, rn2, rn3, education, occupation, province], outputs=input_compo) btn2 = gr.Button("GENERATE OUTPUT") btn2.click(fn=evaluate, inputs=[instruction, input_compo, stream_output], outputs=outputModel) # outputChatInterface = gr.ChatInterface(fn=evaluate) # input text format for model # btn.click(fn=generate_text_test2, inputs = [birth_year, nationality_name, religion_name, sex, # inform_status, age, offense_name, allegation_name, # allegation_desc, rn1, rn2, rn3, education, occupation, province], # outputs = input_compo) demo.launch(debug=True, share=True)