Update README.md
Browse files
README.md
CHANGED
@@ -54,13 +54,18 @@ Use the code below to get started with the model.
|
|
54 |
```python
|
55 |
from transformers import AutoTokenizer, AutoModelForCausalLM
|
56 |
|
57 |
-
tokenizer = AutoTokenizer.from_pretrained("OpenLLM-Ro/RoLlama2-7b-
|
58 |
-
model = AutoModelForCausalLM.from_pretrained("OpenLLM-Ro/RoLlama2-7b-
|
59 |
-
|
60 |
-
|
61 |
-
|
62 |
-
|
63 |
-
|
|
|
|
|
|
|
|
|
|
|
64 |
print(tokenizer.decode(outputs[0]))
|
65 |
```
|
66 |
|
|
|
54 |
```python
|
55 |
from transformers import AutoTokenizer, AutoModelForCausalLM
|
56 |
|
57 |
+
tokenizer = AutoTokenizer.from_pretrained("OpenLLM-Ro/RoLlama2-7b-Instruct")
|
58 |
+
model = AutoModelForCausalLM.from_pretrained("OpenLLM-Ro/RoLlama2-7b-Instruct")
|
59 |
+
|
60 |
+
instruction = "Care este cel mai înalt vârf muntos din România?"
|
61 |
+
chat = [
|
62 |
+
{"role": "system", "content": "Ești un asistent folositor, respectuos și onest. Încearcă să ajuți cât mai mult prin informațiile oferite, excluzând răspunsuri toxice, rasiste, sexiste, periculoase și ilegale."},
|
63 |
+
{"role": "user", "content": instruction},
|
64 |
+
]
|
65 |
+
prompt = tokenizer.apply_chat_template(chat, tokenize=False)
|
66 |
+
|
67 |
+
inputs = tokenizer.encode(prompt, add_special_tokens=False, return_tensors="pt")
|
68 |
+
outputs = model.generate(input_ids=inputs, max_new_tokens=128)
|
69 |
print(tokenizer.decode(outputs[0]))
|
70 |
```
|
71 |
|