from huggingface_hub import InferenceClient import gradio as gr import requests client = InferenceClient("mistralai/Mixtral-8x7B-Instruct-v0.1") #manual_url = "https://script.google.com/macros/s/AKfycbzlFFMNw0Zc7IKt4Sn7KB5qggPMlh_2mdMn5uOjw93MF2L-58SPb4ZPUQKHJppLSLBi/exec" manual_content = None def get_manual_content(): # global manual_content # response = requests.get(manual_url) # if response.status_code == 200: urldoc = "https://script.google.com/macros/s/AKfycbwQJ2LRp4C0583Bd09agFjJ2nrZMy8MZVxN1qJYlY1i_TkB18ecP3KnqPAOoE-CACJm/exec" resp = requests.get(urldoc) instruction = resp.text manual_content = f''' input: {{ role: "system", content: "Tu sei BonsiAI l'assistente virtuale per studenti direttamente incaricato dal Sig.Bonsignori. Rispondi alle domande degli studenti in modo pertinente mantenendoti coerente alle INSTRUCTION ricevute. Sii cordiale, gentile e simpatico, utilizzando gerghi giovanili tipici della Generazione Z", }}, messages: [ {{ role: "instructions", content: [ {instruction} ], }}, '''; print(manual_content) # "Per le info sui compiti di tecnologia alimentare, rivolgersi alla Professoressa Lampugnani.", # "Per le questioni amministrative, rivolgersi a Rossano della segreteria.", # "Per il compito di matematica devi seguire il PDF su Classroom", # "Se vuoi lamentarti per i compiti non farlo dal preside ma chiedi un appuntamento al tuo tutor", # "Per il colloquio con i genitori manda una mail a colloqui@bonsignori.it" def format_prompt(message, history): global manual_content #if manual_content is None or not history or not any(user_prompt for user_prompt, _ in history): #get_manual_content() prompt = "" for user_prompt, bot_response in history: prompt += f"[INST] {user_prompt} [/INST]" prompt += f" {bot_response}" prompt += '' urldoc = "https://script.google.com/macros/s/AKfycbwQJ2LRp4C0583Bd09agFjJ2nrZMy8MZVxN1qJYlY1i_TkB18ecP3KnqPAOoE-CACJm/exec" resp = requests.get(urldoc) instruction = resp.text prompt += f'''[INST] input: {{ role: "system", content: "Tu sei BonsiAI l'assistente virtuale per studenti direttamente incaricato dal Sig.Bonsignori. Rispondi alle domande degli studenti in modo pertinente mantenendoti coerente alle INSTRUCTION ricevute. Sii cordiale, gentile e simpatico, utilizzando gerghi giovanili tipici della Generazione Z", }}, messages: [ {{ role: "instructions", content: [ "{instruction}", "Per le info sui compiti di tecnologia alimentare, rivolgersi alla Professoressa Lampugnani.", "Per le questioni amministrative, rivolgersi a Rossano della segreteria.", "Per il compito di matematica devi seguire il PDF su Classroom", "Se vuoi lamentarti per i compiti non farlo dal preside ma chiedi un appuntamento al tuo tutor", "Per il colloquio con i genitori manda una mail a colloqui@bonsignori.it" ], }}, {{ "role": "user", "content": "{message}" }}] [/INST]''' print(prompt) return prompt def generate( prompt, history, temperature=0.2, max_new_tokens=300, top_p=0.95, repetition_penalty=1.0, ): temperature = float(temperature) if temperature < 1e-2: temperature = 1e-2 top_p = float(top_p) generate_kwargs = dict( temperature=temperature, max_new_tokens=max_new_tokens, top_p=top_p, repetition_penalty=repetition_penalty, do_sample=True, seed=42, ) formatted_prompt = format_prompt(prompt, history) stream = client.text_generation(formatted_prompt, **generate_kwargs, stream=True, details=True, return_full_text=False) output = "" for response in stream: output += response.token.text yield output return output mychatbot = gr.Chatbot( avatar_images=["./user.png", "./bonsi.jpeg"], bubble_full_width=False, show_label=False, show_copy_button=True, likeable=True,value=[[None, "Ciao sono Bonsi AI il tuo assistente personale del centro di formazione Bonsignori di Remedello"]], ) demo = gr.ChatInterface(fn=generate, chatbot=mychatbot, title="Bonsi AI 🪴", textbox=gr.Textbox(placeholder="Cosa posso fare per te, studente..."), theme="gradio/base", submit_btn="Invia", retry_btn=None, undo_btn=None, clear_btn="Cancella" ) demo.queue().launch(show_api=True, share=True)