File size: 1,141 Bytes
c26aa73
 
 
a3038fb
 
 
c26aa73
 
 
 
 
 
 
 
48b451a
 
 
cf7232f
0117117
48b451a
cf7232f
 
 
 
 
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
---
language:
- pt
- en
- es
- ca
---
I recommend you to run this LORA with KoboldCPP if you need CPU, like me, to perform inference.
Below, my command to run this LORA with KoboldCPP:
python koboldcpp.py --launch --lora /ai/text/LORAs/ggml-alpaca-lora-ptbr-7b.bin


Recomendo que você execute este arquivo LORA com o KoboldCPP se precisa usar o CPU, como eu, para fazer inferências.
Abaixo, meu comando para executar este LORA com o KoboldCPP:
python koboldcpp.py --launch --lora /ai/text/LORAs/ggml-alpaca-lora-ptbr-7b.bin


## LORAs X  Models:

ggml-alpaca-lora-ptbr-7b.bin x MedAlpaca-7B-ggml-q4_0.bin -> Works OK, with a few errors of interpretation
ggml-alpaca-lora-ptbr-7b.bin x ggml-alpaca-7b-q4.bin -> Works very good! No relevant errors found

## Example prompts in (Brazilian Portuguese) using LORA ggml-alpaca-lora-ptbr-7b.bin X model ggml-alpaca-7b-q4.bin:

*qual remédio usar para dor de cabeça?*

Para a dor de cabeça, o qual remédio utilizar depende do tipo de dor que se está experimentando. Seu médico pode recomendar algumas medicações como ibuprofeno, acetaminofen ou naproxen, dependendo da severidade da dor.