MatteoScript commited on
Commit
af105a4
·
1 Parent(s): 7744e2a

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +27 -4
app.py CHANGED
@@ -1,19 +1,42 @@
1
  from huggingface_hub import InferenceClient
2
  import gradio as gr
 
3
 
4
  client = InferenceClient("mistralai/Mixtral-8x7B-Instruct-v0.1")
5
 
 
 
 
 
 
 
 
 
 
6
  def format_prompt(message, history):
7
- prompt = "<s>"
8
- with open('Manuale.txt', 'r') as file:
9
- manual_content = file.read()
10
- prompt += f"[INST]Leggi questo MANUALE dopo ti farò delle domande ***INIZIO_MANUALE***: [/INST] {manual_content} [INST] ***FINE_MANUALE***[/INST]"
 
 
11
  for user_prompt, bot_response in history:
12
  prompt += f"[INST] {user_prompt} [/INST]"
13
  prompt += f" {bot_response}</s> "
14
  prompt += f"[INST]Tu sei Zucchetti AI, il mio assistente personale di AdHoc e... io ho un problema in AdHoc, rispondi proponendo SOLO con soluzione relativa al problmea a partire dal manuale (testo tra ***INIZIO_MANUALE*** e ***FINE_MANUALE***): {message} [/INST]"
15
  return prompt
16
 
 
 
 
 
 
 
 
 
 
 
 
17
  def generate(
18
  prompt, history, temperature=0.2, max_new_tokens=300, top_p=0.95, repetition_penalty=1.0,
19
  ):
 
1
  from huggingface_hub import InferenceClient
2
  import gradio as gr
3
+ import requests
4
 
5
  client = InferenceClient("mistralai/Mixtral-8x7B-Instruct-v0.1")
6
 
7
+ manual_url = "https://script.google.com/macros/s/AKfycbwwJL_2bqJ4OVuYBYITKHg5VEE9fFPMx816ErNpuhhRlsNPAwNSd0WrNvN_Y_g77XjN/exec"
8
+ manual_content = None
9
+
10
+ def get_manual_content():
11
+ global manual_content
12
+ response = requests.get(manual_url)
13
+ if response.status_code == 200:
14
+ manual_content = response.text
15
+
16
  def format_prompt(message, history):
17
+ global manual_content
18
+ if manual_content is None:
19
+ get_manual_content()
20
+ prompt = "<s>"
21
+ if manual_content:
22
+ prompt += f"[INST]Leggi questo MANUALE dopo ti farò delle domande ***INIZIO_MANUALE***: [/INST] {manual_content} [INST] ***FINE_MANUALE***[/INST]"
23
  for user_prompt, bot_response in history:
24
  prompt += f"[INST] {user_prompt} [/INST]"
25
  prompt += f" {bot_response}</s> "
26
  prompt += f"[INST]Tu sei Zucchetti AI, il mio assistente personale di AdHoc e... io ho un problema in AdHoc, rispondi proponendo SOLO con soluzione relativa al problmea a partire dal manuale (testo tra ***INIZIO_MANUALE*** e ***FINE_MANUALE***): {message} [/INST]"
27
  return prompt
28
 
29
+ #def format_prompt(message, history):
30
+ # prompt = "<s>"
31
+ # with open('Manuale.txt', 'r') as file:
32
+ # manual_content = file.read()
33
+ # prompt += f"[INST]Leggi questo MANUALE dopo ti farò delle domande ***INIZIO_MANUALE***: [/INST] {manual_content} [INST] ***FINE_MANUALE***[/INST]"
34
+ # for user_prompt, bot_response in history:
35
+ # prompt += f"[INST] {user_prompt} [/INST]"
36
+ # prompt += f" {bot_response}</s> "
37
+ # prompt += f"[INST]Tu sei Zucchetti AI, il mio assistente personale di AdHoc e... io ho un problema in AdHoc, rispondi proponendo SOLO con soluzione relativa al problmea a partire dal manuale (testo tra ***INIZIO_MANUALE*** e ***FINE_MANUALE***): {message} [/INST]"
38
+ # return prompt
39
+
40
  def generate(
41
  prompt, history, temperature=0.2, max_new_tokens=300, top_p=0.95, repetition_penalty=1.0,
42
  ):