File size: 408 Bytes
c4a6e2a |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 |
---
license: llama3
---
모델 : llama3 8B instruct
데이터 : AIhub 데이터셋, 자체 제작 데이터셋
모델 학습 파라미터 : 모델의 파라미터 중 10%정도를 trainable한 parameter로 설정
generate config :
max_new_tokens = 1024,
repetition_penalty = 1.1, #1.1~1.2
temperature = 0.75,
do_sample= True
top_k = 5
주의 : 민감 데이터가 들어가 있을 수 있습니다. |