fix Mixtral's system prompt

run.py

@@ -150,27 +150,25 @@ else:
 #------------
 
 def extend_prompt(message="", history=None, system=None, RAGAddon=None, system2=None, zeichenlimit=None,historylimit=4): #float("Inf")
+  startOfString=""
   if zeichenlimit is None: zeichenlimit=1000000000 # :-)
-  #https://huggingface.co/docs/transformers/main/chat_templating
-  template0="<s>[INST] {system} [/INST] Gerne.</s> " # Variante: Antworten unmittelbar. <s> einleitend wird ergänzt, Leerzeichen um Input und nach </s>
-  template1="[INST] {message} [/INST]"            # Leerzeichen um Input, keines nach [/INST]
-  template2=" {response}</s> "                    # Variante: Antworten folgen unmittelbar, enden ohne Leerzeichen vor </s>
-  if("discolm_german_7b" in modelPath): #https://huggingface.co/DiscoResearch/DiscoLM_German_7b_v1
-    template0="<|im_start|>system\n{system}<|im_end|>\n"
-    template1="<|im_start|>user\n{message}<|im_end|>\n<|im_start|>assistant\n"
-    template2="{response}<|im_end|>\n"
-  if("mixtral-8x7b-instruct" in modelPath): # https://huggingface.co/mistralai/Mixtral-8x7B-Instruct-v0.1
-    template0="<s>[INST] {system} [/INST] Gerne.</s> " # <s> 
-    template1="[INST] {message} [/INST]"     
-    template2="{response}</s> "              
-  if("Mistral-7B-Instruct" in modelPath): #https://huggingface.co/mistralai/Mistral-7B-Instruct-v0.2
-    template0="<s>[INST] {system} [/INST] Gerne.</s> " # <s> 
-    template1="[INST] {message} [/INST]"     
-    template2=" {response}</s> "              
+  template0=" [INST]{system}\n  [/INST] </s>" if onPrem else "<s> [INST] {system} [/INST] </s>" 
+  template1=" [INST] {message} [/INST]"
+  template2=" {response}</s>"
   if("gemma-" in modelPath): # https://huggingface.co/mistralai/Mixtral-8x7B-Instruct-v0.1
     template0="<start_of_turn>user{system}</end_of_turn>" 
     template1="<start_of_turn>user{message}</end_of_turn><start_of_turn>model"
     template2="{response}</end_of_turn>"
+  if("mixtral-8x7b-instruct" in modelPath): # https://huggingface.co/mistralai/Mixtral-8x7B-Instruct-v0.1
+    startOfString="<s>"
+    template0=" [INST]{system}\n  [/INST] </s>" if onPrem else "<s> [INST]{system}\n  [/INST] </s>" 
+    template1=" [INST] {message} [/INST]"
+    template2=" {response}</s>"
+  if("Mistral-7B-Instruct" in modelPath): #https://huggingface.co/mistralai/Mistral-7B-Instruct-v0.2
+    startOfString="<s>"
+    template0="[INST]{system}\n [/INST]</s>" if onPrem else "<s>[INST]{system}\n [/INST]</s>" 
+    template1="[INST] {message} [/INST]"
+    template2=" {response}</s>"
   if("openchat-3.5" in modelPath): #https://huggingface.co/TheBloke/openchat-3.5-0106-GGUF
     template0="GPT4 Correct User: {system}<|end_of_turn|>GPT4 Correct Assistant: Okay.<|end_of_turn|>"
     template1="GPT4 Correct User: {message}<|end_of_turn|>GPT4 Correct Assistant: "
@@ -179,6 +177,10 @@ def extend_prompt(message="", history=None, system=None, RAGAddon=None, system2=
     template0="<|im_start|>system\n{system}<|im_end|>\n"
     template1="<|im_start|>user\n{message}<|im_end|>\n<|im_start|>assistant\n"
     template2="{response}<|im_end|>\n"
+  if("discolm_german_7b" in modelPath): #https://huggingface.co/DiscoResearch/DiscoLM_German_7b_v1
+    template0="<|im_start|>system\n{system}<|im_end|>\n"
+    template1="<|im_start|>user\n{message}<|im_end|>\n<|im_start|>assistant\n"
+    template2="{response}<|im_end|>\n"
   if("WizardLM-13B-V1.2" in modelPath): #https://huggingface.co/WizardLM/WizardLM-13B-V1.2
     template0="{system} " #<s>
     template1="USER: {message} ASSISTANT: "
@@ -199,7 +201,7 @@ def extend_prompt(message="", history=None, system=None, RAGAddon=None, system2=
   if message is not None: prompt += template1.format(message=message[:zeichenlimit])                #"[INST] {message} [/INST]"
   if system2 is not None:
     prompt += system2
-  return prompt
+  return startOfString+prompt
 
 import gradio as gr
 import requests