recogna commited on
Commit
cc836ba
1 Parent(s): 4817322

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +0 -17
README.md CHANGED
@@ -163,23 +163,6 @@ GemmBode é um modelo de linguagem ajustado para o idioma português, desenvolvi
163
  - **Dataset para Fine-tuning:** [UltraAlpaca](https://huggingface.co/datasets/recogna-nlp/ultra-alpaca-ptbr)
164
  - **Treinamento:** O treinamento foi realizado a partir do fine-tuning, com QLoRA do gemma-7b-it.
165
 
166
- # Treinamento
167
-
168
- A seguinte configuração de quantização `bitsandbytes` foi usada durante o treinamento:
169
-
170
- - quant_method: bitsandbytes
171
- - _load_in_8bit: False
172
- - _load_in_4bit: True
173
- - llm_int8_threshold: 6.0
174
- - llm_int8_skip_modules: None
175
- - llm_int8_enable_fp32_cpu_offload: False
176
- - llm_int8_has_fp16_weight: False
177
- - bnb_4bit_quant_type: nf4
178
- - bnb_4bit_use_double_quant: True
179
- - bnb_4bit_compute_dtype: float16
180
- - bnb_4bit_quant_storage: uint8
181
- - load_in_4bit: True
182
- - load_in_8bit: False
183
 
184
  # Resultados da avaliação do Open Portuguese LLM Leaderboard
185
 
 
163
  - **Dataset para Fine-tuning:** [UltraAlpaca](https://huggingface.co/datasets/recogna-nlp/ultra-alpaca-ptbr)
164
  - **Treinamento:** O treinamento foi realizado a partir do fine-tuning, com QLoRA do gemma-7b-it.
165
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
166
 
167
  # Resultados da avaliação do Open Portuguese LLM Leaderboard
168