Update README.md

README.md

@@ -27,7 +27,7 @@ updated: 09-03-2024
 ## Model description
 The Cuscuz 7b is a model derived from a fine tuning of the Mixtral 7b. This model was tuned to be specialized in the Northeast region of Brazil. 
 The model was specialized in a dataset that covered historical, geographical, economic, cultural and culinary issues in the northeast region.
-To make better use of the Cuscuz, the ideal is to use the model without quantization. With 8 bits it may present some inconsistencies, but nothing worrying.
+To make better use of the Cuscuz, the ideal is to use the model without quantization.
 
 ## How to Use
 
@@ -119,6 +119,23 @@ _ = model.generate(**inputs, streamer=streamer, max_new_tokens=200, temperature=
 #É uma culinária cheia de sabores e tradições que encantam os visitantes. É uma delícia da nossa terra!
 ```
 
+### Inferences in 4bits
+
+```python
+runtimeFlag = "cuda:0"
+inputs = tokenizer([f"""<s>Você é um assistente especializado no Nordeste Do Brasil.
+Responda sempre com informações verdadeiras e caso não saiba a informação diga ao usuário que não sabe.
+Evite repetições de informação e responda de maneira coerente.
+[INST] Voce poderia me indicar bons lugares para visitar em Sergipe ?[/INST]"""], return_tensors="pt").to(runtimeFlag)
+```
+
+```python
+streamer = TextStreamer(tokenizer, skip_prompt=True, skip_special_tokens=True)
+_ = model.generate(**inputs, streamer=streamer, max_new_tokens=100)
+#Sim, em Sergipe tem locais de interesse como a cidade de São Cristóvão, o Parque dos Falcões, o Museu da Imagem e do Som e o Mercado Thales Ferraz.
+#É um estado com belezas e cultura.
+```
+
 
 ### Training hyperparameters