working demo

app.py

@@ -1,64 +1,81 @@
 import gradio as gr
-from huggingface_hub import InferenceClient
+from transformers import AutoProcessor, AutoTokenizer
+from peft import AutoPeftModelForCausalLM
+import torch
 
-"""
-For more information on `huggingface_hub` Inference API support, please check the docs: https://huggingface.co/docs/huggingface_hub/v0.22.2/en/guides/inference
-"""
-client = InferenceClient("HuggingFaceH4/zephyr-7b-beta")
+hugging_face_model_id = "eltorio/Llama-3.2-3B-appreciation"
+base_model_path = "meta-llama/Llama-3.2-3B-Instruct"
+# Determine the device (GPU or CPU) to run the model on
+device = torch.device('cuda') if torch.cuda.is_available() else torch.device('cpu')
+print(f"Using device: {device}")  # Log the device being used
+# Initialize the processor from the base model path
+processor = AutoProcessor.from_pretrained(base_model_path, trust_remote_code=True)
+# Initialize the model from the base model path and set the torch dtype to bfloat16
+peft_model = AutoPeftModelForCausalLM.from_pretrained(hugging_face_model_id)
+merged_model = peft_model.merge_and_unload()
+tokenizer = AutoTokenizer.from_pretrained(hugging_face_model_id)
 
 
-def respond(
-    message,
-    history: list[tuple[str, str]],
-    system_message,
-    max_tokens,
-    temperature,
-    top_p,
-):
-    messages = [{"role": "system", "content": system_message}]
+#tokenizer = get_chat_template(
+#    tokenizer,
+#    chat_template = "llama-3.1",
+#)
 
-    for val in history:
-        if val[0]:
-            messages.append({"role": "user", "content": val[0]})
-        if val[1]:
-            messages.append({"role": "assistant", "content": val[1]})
+# Define a function to infer a evaluation from the incoming parameters
+def infere(trimestre: str, moyenne_1: float,moyenne_2: float,moyenne_3: float, comportement: float, participation: float, travail: float) -> str:
 
-    messages.append({"role": "user", "content": message})
+    if trimestre == "1":
+        trimestre_full = "premier trimestre"
+        user_question = f"Veuillez rédiger une appréciation en moins de 40 mots pour le {trimestre_full} pour cet élève qui a eu {moyenne_1} de moyenne, j'ai évalué son comportement à {comportement}/10, sa participation à {participation}/10 et son travail à {travail}/10. Les notes ne doivent pas apparaître dans l'appréciation."
+    elif trimestre == "2":
+        trimestre_full = "deuxième trimestre"
+        user_question = f"Veuillez rédiger une appréciation en moins de 40 mots pour le {trimestre_full} pour cet élève qui a eu {moyenne_2} de moyenne ce trimestre et {moyenne_1} au premier trimestre, j'ai évalué son comportement à {comportement}/10, sa participation à {participation}/10 et son travail à {travail}/10. Les notes ne doivent pas apparaître dans l'appréciation."
+    elif trimestre == "3":
+        trimestre_full = "troisième trimestre"
+        user_question= f"Veuillez rédiger une appréciation en moins de 40 mots pour le {trimestre_full} pour cet élève qui a eu {moyenne_3} de moyenne ce trimestre, {moyenne_2} au deuxième trimestre et {moyenne_1} au premier trimestre, j'ai évalué son comportement à {comportement}/10, sa participation à {participation}/10 et son travail à {travail}/10. Les notes ne doivent pas apparaître dans l'appréciation."
 
-    response = ""
+    # Define a chat template for the model to respond to
+    messages = [
+        {
+            "role": "system",
+            "content": "Vous êtes une IA assistant les enseignants d'histoire-géographie en rédigeant à leur place une appréciation personnalisée pour leur élève en fonction de ses performances. Votre appreciation doit être en français, bienveillante, constructive, et aider l'élève à comprendre ses points forts et les axes d'amélioration. Votre appréciation doit comporter de 1 à 40 mots. Votre appréciation ne doit jamais comporter la valeur de la note. Votre appréciation doit utiliser le style impersonnel."},
+        {
+            "role": "user",
+            "content": user_question},
+    ]
+    inputs = tokenizer.apply_chat_template(
+    messages,
+    tokenize = True,
+    add_generation_prompt = True, # Must add for generation
+    return_tensors = "pt",).to(device)
+    outputs = merged_model.generate(input_ids = inputs, max_new_tokens = 90, use_cache = True,
+                         temperature = 1.5, min_p = 0.1)
+    decoded_sequences = tokenizer.batch_decode(outputs[:, inputs.shape[1]:],skip_special_tokens=True)[0]
+    return decoded_sequences
 
-    for message in client.chat_completion(
-        messages,
-        max_tokens=max_tokens,
-        stream=True,
-        temperature=temperature,
-        top_p=top_p,
-    ):
-        token = message.choices[0].delta.content
+# Define the title, description, and device description for the Gradio interface
+title = f"Une intelligence artificielle pour écrire des appréciationst <b>tourne sur {device}</b>"
+desc = "Ce modèle vous propose une évaluation automatique."
 
-        response += token
-        yield response
+device_desc = f"Ce fonctionne fonctionne sur {device} 🚀." if device == torch.device('cuda') else f"🐢 Cette I.A. fonctionne sur {device} 🐢."
 
+# Define the long description for the Gradio interface
+long_desc = f"Cette démonstration est basée sur le modèle <a href='https://huggingface.co/eltorio/Llama-3.2-3B-appreciation'>Llama-3.2-3B-appreciation</a>, c'est un LLM basé sur Llama 3.2 3B-instruct!<br><b>{device_desc}</b><br> 2024 - Ronan Le Meillat"
 
-"""
-For information on how to customize the ChatInterface, peruse the gradio docs: https://www.gradio.app/docs/chatinterface
-"""
-demo = gr.ChatInterface(
-    respond,
-    additional_inputs=[
-        gr.Textbox(value="You are a friendly Chatbot.", label="System message"),
-        gr.Slider(minimum=1, maximum=2048, value=512, step=1, label="Max new tokens"),
-        gr.Slider(minimum=0.1, maximum=4.0, value=0.7, step=0.1, label="Temperature"),
-        gr.Slider(
-            minimum=0.1,
-            maximum=1.0,
-            value=0.95,
-            step=0.05,
-            label="Top-p (nucleus sampling)",
+# Create a Gradio interface with the infere function and specified title and descriptions
+autoeval = gr.Interface(fn=infere, inputs=[
+        gr.Radio(
+            ["1", "2", "3"], value="1", label="trimestre", info="Trimestre"
         ),
-    ],
-)
+        gr.Slider(0, 20,label="moyenne_1", value=10, info="Moyenne trimestre 1"),
+        gr.Slider(0, 20,label="moyenne_2", value=10, info="Moyenne trimestre 2"),
+        gr.Slider(0, 20,label="moyenne_3", value=10, info="Moyenne trimestre 3"),
+        gr.Slider(0, 10, value=5, label="comportement", info="Comportement (1 à 10)"),
+        gr.Slider(0, 10, value=5, label="participation", info="Participation (1 à 10)"),
+        gr.Slider(0, 10, value=5, label="travail", info="Travail (1 à 10)"),
+        
+    ], outputs="text", title=title, 
+                description=desc, article=long_desc)
 
-
-if __name__ == "__main__":
-    demo.launch()
+# Launch the Gradio interface and share it
+autoeval.launch(server_name="0.0.0.0",share=False)