Update README.md

README.md

@@ -1,25 +1,24 @@
 ---
+license: llama2
+datasets:
+- ju-resplande/rebel-pt
+- paulofinardi/OIG_small_chip2_portuguese_brasil
+- Guilherme34/Cabrita-lora-ptbr
+- dominguesm/Canarim-Instruct-PTBR-Dataset
 language:
 - pt
 - en
-license: llama2
+pipeline_tag: text-generation
 library_name: transformers
+widget:
+- text: |
+    Como ficar mais inteligente?
 tags:
 - Portuguese
 - Llama
 - Tiny-Llama
 - LLM
 - PEFT
-datasets:
-- ju-resplande/rebel-pt
-- paulofinardi/OIG_small_chip2_portuguese_brasil
-- Guilherme34/Cabrita-lora-ptbr
-- dominguesm/Canarim-Instruct-PTBR-Dataset
-pipeline_tag: text-generation
-widget:
-- text: 'Como ficar mais inteligente?
-
-    '
 ---
 
 <hr>
@@ -37,16 +36,9 @@ Samba é um LLM treinado em dados da língua portuguesa. O modelo é baseado no
 
 O projeto do LLM Samba tem como objetivo fornecer mais opções de LLMs para língua portuguesa, ao mesmo tempo que disponibiliza um modelo menos complexo para que, dessa forma, usuários com menos poder computacional possam usufruir das LLMs.
 
-Em apoio aos países de língua portuguesa. 🇦🇴🇧🇷🇨🇻🇬🇼🇬🇶🇲🇿🇵🇹🇸🇹🇹🇱
-
-## Detalhes do Modelo
-
-Esse modelo foi fine-tunado em quatro datasets ([rebel-pt](https://huggingface.co/datasets/ju-resplande/rebel-pt), [OIG_small_chip2_portuguese_brasil](https://huggingface.co/datasets/paulofinardi/OIG_small_chip2_portuguese_brasil), [Cabrita-lora-ptbr](https://huggingface.co/datasets/Guilherme34/Cabrita-lora-ptbr) e [Canarim-Instruct-PTBR-Dataset](https://huggingface.co/datasets/dominguesm/Canarim-Instruct-PTBR-Dataset)) com dados de texto na língua portuguesa, contendo aproximadamente 1.4 million de amostras.
-
-## Atualizações Futuras
-
-- Adicionar mais dados de textos da língua portuguesa.
-- Disponibilizar versões quantizadas.
+<p align="center">
+  <img width="250" alt="Countries Logo" src="https://cdn-uploads.huggingface.co/production/uploads/658c21f4c1229bf113295773/d3twZrXng5eDjg_LbH4pF.png">
+</p>
 
 ### Descrição do Modelo
 
@@ -58,23 +50,19 @@ Esse modelo foi fine-tunado em quatro datasets ([rebel-pt](https://huggingface.c
 ## Como usar
 
 ```python
-from transformers import AutoModelForCausalLM, AutoTokenizer
-
-model = AutoModelForCausalLM.from_pretrained('lrds-code/samba-1.1B')
-tokenizer = AutoTokenizer.from_pretrained('lrds-code/samba-1.1B')
-
-text = 'Como desenvolver habilidades de programação em python?'
-inputs = tokenizer(text, return_tensors='pt')
+import torch
+from transformers import pipeline
 
-outputs = model.generate(**inputs)
-print(tokenizer.decode(outputs[0], skip_special_tokens=True))
+samba = pipeline('text-generation', model='lrds-code/samba-1.1B', torch_dtype=torch.bfloat16, device_map='auto')
 
-## Como desenvolver habilidades de programação em python?
-## Para desenvolver habilidades de programação em Python, você precisa aprender a ler e escrever código.
-## Você também precisa entender o que significa cada parte do código e como ela funciona.
-## Você também precisa entender como usar bibliotecas e frameworks para criar aplicativos.
-## Além disso, você precisa entender como usar o IDE (Integrated Development Environment) para desenvolver e testar seu código.
+messages = [{"role": "system",
+             "content": ""},
+            {"role": "user",
+             "content": "Quantos planetas existem no sistema solar?"}]
 
+prompt = samba.tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
+outputs = samba(prompt, max_new_tokens=256, do_sample=False, temperature=0.1, top_k=50, top_p=0.95)
+print(outputs[0]['generated_text'])
 ```
 
 <hr>
@@ -93,16 +81,9 @@ Samba is a LLM trained on portuguese language data. The model is based on [TinyL
 
 The LLM Samba project aims to provide more LLM options in Portuguese, while also providing less complex models so that users with less computational power can take advantage of the LLMs.
 
-In support of portuguese-speaking countries. 🇦🇴🇧🇷🇨🇻🇬🇼🇬🇶🇲🇿🇵🇹🇸🇹🇹🇱
-
-## Model Details
-
-This model was fine-tuned on four datasets ([rebel-pt](https://huggingface.co/datasets/ju-resplande/rebel-pt), [OIG_small_chip2_portuguese_brasil](https://huggingface.co/datasets/paulofinardi/OIG_small_chip2_portuguese_brasil), [Cabrita-lora-ptbr](https://huggingface.co/datasets/Guilherme34/Cabrita-lora-ptbr) and [Canarim-Instruct-PTBR-Dataset](https://huggingface.co/datasets/dominguesm/Canarim-Instruct-PTBR-Dataset)) with portuguese data that total approximately 1.4 million samples.
-
-## Future Updates
-
-- Add more data from the portuguese language.
-- Make quantized versions available.
+<p align="center">
+  <img width="250" alt="Countries Logo" src="https://cdn-uploads.huggingface.co/production/uploads/658c21f4c1229bf113295773/d3twZrXng5eDjg_LbH4pF.png">
+</p>
 
 ### Model Description
 
@@ -114,21 +95,17 @@ This model was fine-tuned on four datasets ([rebel-pt](https://huggingface.co/da
 ## How to Use
 
 ```python
-from transformers import AutoModelForCausalLM, AutoTokenizer
-
-model = AutoModelForCausalLM.from_pretrained('lrds-code/samba-1.1B')
-tokenizer = AutoTokenizer.from_pretrained('lrds-code/samba-1.1B')
-
-text = 'Como desenvolver habilidades de programação em python?'
-inputs = tokenizer(text, return_tensors='pt')
+import torch
+from transformers import pipeline
 
-outputs = model.generate(**inputs)
-print(tokenizer.decode(outputs[0], skip_special_tokens=True))
+samba = pipeline('text-generation', model='lrds-code/samba-1.1B', torch_dtype=torch.bfloat16, device_map='auto')
 
-## Como desenvolver habilidades de programação em python?
-## Para desenvolver habilidades de programação em Python, você precisa aprender a ler e escrever código.
-## Você também precisa entender o que significa cada parte do código e como ela funciona.
-## Você também precisa entender como usar bibliotecas e frameworks para criar aplicativos.
-## Além disso, você precisa entender como usar o IDE (Integrated Development Environment) para desenvolver e testar seu código.
+messages = [{"role": "system",
+             "content": ""},
+            {"role": "user",
+             "content": "Quantos planetas existem no sistema solar?"}]
 
+prompt = samba.tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
+outputs = samba(prompt, max_new_tokens=256, do_sample=False, temperature=0.1, top_k=50, top_p=0.95)
+print(outputs[0]['generated_text'])
 ```