lrds-code commited on
Commit
de08b9c
·
verified ·
1 Parent(s): 4869988

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +0 -47
README.md CHANGED
@@ -41,8 +41,6 @@ Samba é um LLM treinado em dados da língua portuguesa. O modelo é baseado no
41
 
42
  ## Como usar
43
 
44
- Com o `transformers pipeline`:
45
-
46
  ```python
47
  import torch
48
  from transformers import pipeline
@@ -59,51 +57,6 @@ outputs = samba(prompt, max_new_tokens=256, do_sample=False, temperature=0.1, to
59
  print(outputs[0]['generated_text'])
60
  ```
61
 
62
- Com o `transformers AutoModel`
63
-
64
- ```python
65
- from transformers import AutoModelForCausalLM, AutoTokenizer, GenerationConfig
66
-
67
- def GeneratePrompt(input, instruction):
68
- if input!='' and instruction!=0:
69
- return f'''Abaixo está uma instrução que descreve uma tarefa, juntamente com uma entrada que fornece mais contexto. Escreva uma resposta que complete adequadamente o pedido.
70
- ### Instrução
71
- {instruction}
72
- ### Entrada
73
- {input}'''
74
- else:
75
- return f'''Abaixo está uma instrução que descreve uma tarefa, juntamente com uma entrada que fornece mais contexto. Escreva uma resposta que complete adequadamente o pedido.
76
- ### Instrução
77
- {instruction}
78
- ### Entrada'''
79
-
80
- model_config = GenerationConfig.from_model_config(model.generation_config)
81
- model.generation_config.temperature = 0.1
82
-
83
- model = AutoModelForCausalLM.from_pretrained('lrds-code/samba-1.1B')
84
- tokenizer = AutoTokenizer.from_pretrained('lrds-code/samba-1.1B')
85
-
86
- instruction = 'Quantos planetas existem no sistema solar?'
87
- text = GeneratePrompt(input='', instruction=instruction)
88
- inputs = tokenizer(text, return_tensors='pt')
89
- outputs = model.generate(input_ids=inputs['input_ids'], attention_mask=inputs['attention_mask'], generation_config=model_config, repetition_penalty=1.1, do_sample=False)
90
- print(outputs[0]['generated_text'])
91
- ```
92
-
93
- ## Prompt para Finetune
94
-
95
- Para o finetune do Samba utilizamos o template [Alpaca](https://huggingface.co/datasets/yahma/alpaca-cleaned).
96
-
97
- ```python
98
- alpaca_prompt = f'''Abaixo está uma instrução que descreve uma tarefa, juntamente com uma entrada que fornece mais contexto. Escreva uma resposta que complete adequadamente o pedido.
99
- ### Instrução
100
- {instruction}
101
- ### Entrada
102
- {input}
103
- ### Resposta
104
- {output}'''
105
- ```
106
-
107
  ## Parâmetros Importantes
108
 
109
  - **repetition_penalty:** é utilizado para evitar a repetição de palavras ou frases. Quando esse valor é ajustado para ser maior que 1, o modelo tenta diminuir a probabilidade de gerar palavras que já apareceram anteriormente. Basicamente, quanto maior o valor, mais o modelo tenta evitar repetições.
 
41
 
42
  ## Como usar
43
 
 
 
44
  ```python
45
  import torch
46
  from transformers import pipeline
 
57
  print(outputs[0]['generated_text'])
58
  ```
59
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
60
  ## Parâmetros Importantes
61
 
62
  - **repetition_penalty:** é utilizado para evitar a repetição de palavras ou frases. Quando esse valor é ajustado para ser maior que 1, o modelo tenta diminuir a probabilidade de gerar palavras que já apareceram anteriormente. Basicamente, quanto maior o valor, mais o modelo tenta evitar repetições.