File size: 1,141 Bytes
c26aa73 a3038fb c26aa73 48b451a cf7232f 0117117 48b451a cf7232f |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 |
---
language:
- pt
- en
- es
- ca
---
I recommend you to run this LORA with KoboldCPP if you need CPU, like me, to perform inference.
Below, my command to run this LORA with KoboldCPP:
python koboldcpp.py --launch --lora /ai/text/LORAs/ggml-alpaca-lora-ptbr-7b.bin
Recomendo que você execute este arquivo LORA com o KoboldCPP se precisa usar o CPU, como eu, para fazer inferências.
Abaixo, meu comando para executar este LORA com o KoboldCPP:
python koboldcpp.py --launch --lora /ai/text/LORAs/ggml-alpaca-lora-ptbr-7b.bin
## LORAs X Models:
ggml-alpaca-lora-ptbr-7b.bin x MedAlpaca-7B-ggml-q4_0.bin -> Works OK, with a few errors of interpretation
ggml-alpaca-lora-ptbr-7b.bin x ggml-alpaca-7b-q4.bin -> Works very good! No relevant errors found
## Example prompts in (Brazilian Portuguese) using LORA ggml-alpaca-lora-ptbr-7b.bin X model ggml-alpaca-7b-q4.bin:
*qual remédio usar para dor de cabeça?*
Para a dor de cabeça, o qual remédio utilizar depende do tipo de dor que se está experimentando. Seu médico pode recomendar algumas medicações como ibuprofeno, acetaminofen ou naproxen, dependendo da severidade da dor.
|