Update app.py

app.py

@@ -1,6 +1,7 @@
-import torch
-from transformers import AutoTokenizer, pipeline, AutoModel, AutoModelForCausalLM, BitsAndBytesConfig
-MODEL = "ecastera/eva-mistral-catmacaroni-7b-spanish"
+from huggingface_hub import InferenceClient
+client = InferenceClient(
+    "ecastera/eva-mistral-catmacaroni-7b-spanish"
+)
 quantization_config = BitsAndBytesConfig(
     load_in_4bit=True,
     load_in_8bit=False,
@@ -9,21 +10,35 @@ quantization_config = BitsAndBytesConfig(
     bnb_4bit_compute_dtype="float16",
     bnb_4bit_use_double_quant=True,
     bnb_4bit_quant_type="nf4")
-model = AutoModelForCausalLM.from_pretrained(
-    MODEL,
-    load_in_8bit=True,
-    low_cpu_mem_usage=True,
-    torch_dtype=torch.float16,
-    quantization_config=quantization_config,
-    offload_state_dict=True,
-    offload_folder="./offload",
-    trust_remote_code=True,
-)
-tokenizer = AutoTokenizer.from_pretrained(MODEL)
-print(f"Loading complete {model} {tokenizer}")
-prompt = "Soy Eva una inteligencia artificial y pienso que preferiria ser "
-inputs = tokenizer(prompt, return_tensors="pt").to("cuda")
-outputs = model.generate(**inputs, do_sample=True, temperature=0.4, top_p=1.0, top_k=50,
-                             no_repeat_ngram_size=3, max_new_tokens=100, pad_token_id=tokenizer.eos_token_id)
-text_out = tokenizer.batch_decode(outputs, skip_special_tokens=True)
-print(text_out)
+
+    generate_kwargs = dict(
+        temperature=0.1,
+        max_new_tokens=256,
+        top_p=top_p,
+        repetition_penalty=repetition_penalty,
+        do_sample=True,
+        seed=42,
+    )
+
+
+prompt2 = '[INST] Para esta frase "' + prompt + '" ' + """ extrae las palabras clave relacionadas 
+    con la asociación Ancera, que son esenciales para realizar búsquedas efectivas en la 
+    base de datos de Ancera. Concéntrate en los siguientes elementos como palabras clave:
+    cargos dentro de la asociación: Por ejemplo, presidenta, vicepresidente, etc.
+    Conceptos clave o áreas de interés relacionadas con Ancera: Por ejemplo, objetivos, ventajas, junta directiva, etc.
+    Referencias temporales específicas si están directamente relacionadas con los conceptos clave: Por ejemplo, el año en cuestión para los objetivos.
+    Ignora detalles contextuales como acciones, descripciones extensas, y enfócate únicamente en las palabras clave mencionadas. Las palabras clave extraídas serán utilizadas para buscar información relevante en la base de datos de Ancera.
+    
+    Te doy dos ejemplos:
+    
+    Frase: "Haz un resumen en 100 palabras de cuáles deberían ser los objetivos de Ancera para 2024"
+    Respuesta: "objetivos, Ancera, 2024"
+
+    Frase: "Haz un resumen en 50 palabras de las ventajas de ser miembro de Ancera"
+    Respuesta: "ventaja, miembro"
+    
+    Haz lo mismo para la frase que te he dicho y sólo muestra las palabras clave no des detalles o explicaciones extra, escribe el resultado en el mismo formato que los dos ejemplos, no hagas listas, no escribas la frase, ciñete al formato de respesta [/INST]"""
+#Ahora responde SOLO con las palabras clave a esta
+response = client.text_generation(prompt2, **generate_kwargs, stream=False, details=True, return_full_text=False)
+output = response.generated_text
+print(output)