metadata

base_model: unsloth/Meta-Llama-3.1-8B-Instruct-bnb-4bit
language:
  - vi
license: apache-2.0
tags:
  - text-generation-inference
  - transformers
  - unsloth
  - llama
  - trl
  - sft
datasets:
  - beyoru/subjects

Intro

Small model for generate a MCQ for informatic course

Uploaded model

Developed by: pnpm12
License: apache-2.0
Finetuned from model : unsloth/Meta-Llama-3.1-8B-Instruct-bnb-4bit

This llama model was trained with Unsloth and Huggingface's TRL library.

Usage

Installation:

pip install -U transformers
pip install -q bitsandbytes

# low device
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained(
                            "pnpm12/informatic_4bit"
                          )
model = AutoModelForCausalLM.from_pretrained(
                            "pnpm12/informatic_4bit",
                            load_in_4bit=True
)

prompt = """ Tạo một câu hỏi trắc nghiệm và đáp án dựa theo đoạn văn bản dưới đây

### Đoạn văn bản
{}

### Phản hổi
{}"""

content = """
AI mạnh (hay AI rộng) là hướng nghiên cứu nhằm mục đích tạo ra hệ thống AI có các khả năng như con người trong suy luận, lập kế hoạch và có trí thông minh dễ giải quyết bất kỳ loại vấn đề phức tạp nào. Hệ thống AI mạnh sẽ có tri thức toàn diện về mọi vấn đề, có ý thức khi hành động. Không thể phân biệt dược hệ thống AI mạnh với trí tuệ con người nói chung. Nhiều người cho rằng đây chỉ là khái niệm lý thuyết và khó để có thể trở thành hiện thực. Newell, Simon và Shaw đã viết một chương trình gọi là GPS (General Problem Solver) để giải quyết mọi vấn để theo cách tổng quát và phiên bản đầu tiên của GDS đã được công bố vào năm 1957. Chương trình này cho phép máy tính giải quyết các bài toán bằng cách mô phỏng chuỗi suy nghĩ của con người. Tuy nhiên, GPS này không có khả năng học, trí thông minh mà chương trình có được là do người lập trình cung cấp nên bị hạn chế. AI mạnh đang được nghiên cứu, phát triển.
"""

prompt = prompt.format(content, "")
inputs = tokenizer(prompt, return_tensors="pt")
output = model.generate(**inputs, max_new_tokens=2048)
answer = tokenizer.decode(output[0], skip_special_tokens=True)
answer = answer.replace(prompt, "")
print(answer)

Update:

Evaluation:

update later...