Update README.md
Browse files
README.md
CHANGED
|
@@ -163,23 +163,6 @@ GemmBode é um modelo de linguagem ajustado para o idioma português, desenvolvi
|
|
| 163 |
- **Dataset para Fine-tuning:** [UltraAlpaca](https://huggingface.co/datasets/recogna-nlp/ultra-alpaca-ptbr)
|
| 164 |
- **Treinamento:** O treinamento foi realizado a partir do fine-tuning, com QLoRA do gemma-7b-it.
|
| 165 |
|
| 166 |
-
# Treinamento
|
| 167 |
-
|
| 168 |
-
A seguinte configuração de quantização `bitsandbytes` foi usada durante o treinamento:
|
| 169 |
-
|
| 170 |
-
- quant_method: bitsandbytes
|
| 171 |
-
- _load_in_8bit: False
|
| 172 |
-
- _load_in_4bit: True
|
| 173 |
-
- llm_int8_threshold: 6.0
|
| 174 |
-
- llm_int8_skip_modules: None
|
| 175 |
-
- llm_int8_enable_fp32_cpu_offload: False
|
| 176 |
-
- llm_int8_has_fp16_weight: False
|
| 177 |
-
- bnb_4bit_quant_type: nf4
|
| 178 |
-
- bnb_4bit_use_double_quant: True
|
| 179 |
-
- bnb_4bit_compute_dtype: float16
|
| 180 |
-
- bnb_4bit_quant_storage: uint8
|
| 181 |
-
- load_in_4bit: True
|
| 182 |
-
- load_in_8bit: False
|
| 183 |
|
| 184 |
# Resultados da avaliação do Open Portuguese LLM Leaderboard
|
| 185 |
|
|
|
|
| 163 |
- **Dataset para Fine-tuning:** [UltraAlpaca](https://huggingface.co/datasets/recogna-nlp/ultra-alpaca-ptbr)
|
| 164 |
- **Treinamento:** O treinamento foi realizado a partir do fine-tuning, com QLoRA do gemma-7b-it.
|
| 165 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 166 |
|
| 167 |
# Resultados da avaliação do Open Portuguese LLM Leaderboard
|
| 168 |
|