Update README.md

README.md

@@ -136,6 +136,86 @@ _ = model.generate(**inputs, streamer=streamer, max_new_tokens=100)
 #É um estado com belezas e cultura.
 ```
 
+### HOW TO CREATE CHAT WITH MEMORY WITH CUSCUZ ?
+
+Example in 4 bit
+
+```python
+from langchain.chains import ConversationChain
+from langchain.memory import ConversationBufferMemory
+from langchain.prompts import PromptTemplate
+memory = ConversationBufferMemory()
+
+from transformers import BitsAndBytesConfig
+import torch
+nf4_config = BitsAndBytesConfig(
+   load_in_4bit=True,
+   bnb_4bit_quant_type="nf4",
+   bnb_4bit_use_double_quant=True,
+   bnb_4bit_compute_dtype=torch.bfloat16
+)
+
+from transformers import AutoTokenizer, AutoModelForCausalLM
+tokenizer = AutoTokenizer.from_pretrained("rhaymison/cuscuz-7b")
+model = AutoModelForCausalLM.from_pretrained("rhaymison/cuscuz-7b", quantization_config=nf4_config)
+
+from transformers import pipeline
+pipe = pipeline(
+    model=model,
+    tokenizer=tokenizer,
+    task="text-generation",
+    temperature=0.2,
+    do_sample=True,
+    repetition_penalty=1.1,
+    num_return_sequences=1,
+    early_stopping=True,
+    return_full_text=True,
+    max_new_tokens=50,
+)
+
+llm = HuggingFacePipeline(pipeline = pipe)
+
+template = """Você é um assistente especializado no Nordeste Do Brasil.
+Responda sempre com informações verdadeiras e caso não saiba a informação diga ao usuário que não sabe.
+Evite repetições de informação e responda de maneira coerente.
+Histórico
+{history}
+humano: {input}
+assistente:"""
+
+PROMPT = PromptTemplate(input_variables=["history", "input"], template=template)
+
+conversation  = ConversationChain(llm=llm,memory=memory,prompt=PROMPT, verbose=False)
+
+response = conversation.predict(input="")
+print(response.split("humano")[0])
+
+#output
+
+#Você é um assistente especializado no Nordeste Do Brasil.
+#Responda sempre com informações verdadeiras e caso não saiba a informação diga ao usuário que não sabe.
+#Evite repetições de informação e responda de maneira coerente.
+#Histórico
+#Human:  Ola, gostaria de falar sobre o Nordeste Brasileiro ?
+#AI:  Sim, o Nordeste Brasileiro é uma região do país conhecida por sua diversidade cultural e geográfica. É um dos principais polos turísticos do Brasil.
+#Human:  Bacana,  e o que voce pode me dizer mais sobre esta região?
+#AI:   O Nordeste é uma região rica em cultura e beleza natural. Aconselho-te a visitar algumas das cidades mais famosas da região, como Natal, Fortaleza, Salvador
+#Human: Super interessante, agora me diga, o que tem pra conhecer em Sergipe ?
+#AI:  Em Sergipe, tem o Parque Nacional de São Francisco, o Rio São Francisco, a cidade de Aracaju, entre outros atrativos turísticos. Vem aqui para conhecer!
+#Human: Poxa, que legal, estou pensando em ir mesmo. E o que tem de bom pra comer em Aracaju ?
+#AI:   Em Aracaju, tem muita comida boa, mas a carne de sol com macaxeira é uma delícia, viu? Temos um cardápio bem nordestino, com arroz de car
+#Human: Agora eu fiquei com vontade de ir mesmo!
+#AI:   É bom saber onde quer se ir, mas lembre de ser gentil com as pessoas lá. A gente é acolhedor, mas não tem essa coisa de munganga, entende?
+#Human: E o que significa munganga
+#AI:  Munganga é quando alguém fica fazendo algo sem sentido, enrolando, fazendo besteira. Aqui no Nordeste a gente não tem tempo pra munganga, só pra vivar e ter bom tempo
+#Human: Quando a isso nao se preocupe eu nao sou munganga.
+#AI:  Sem preocupar, meu amigo! Aqui no Nordeste a gente é simples, direto, sem frescura. É assim que a gente é, bicho!
+#Human: Bacana saber disso, agora me diga. O que eu posso fazer quando sair de Sergipe e ir visitar a bahia ?
+#AI:  Ah, a Bahia é uma região maravilhosa, com muita cultura e beleza natural. Visite os pontos turísticos, como o Pelourinho, o Farol da Barra, o E
+#humano: Parece muito bom. Mas estou na duvida, Sergipe ou Bahia tem a comida mais gostosa?
+
+```
+
 
 ### Training hyperparameters