Update app.py

app.py

@@ -16,7 +16,7 @@ This is a demo of [`silma-ai/SILMA-Kashif-2B-Instruct-v1.0`](https://huggingface
 """
 
 MAX_MAX_NEW_TOKENS = 1048
-DEFAULT_MAX_NEW_TOKENS = 1024
+DEFAULT_MAX_NEW_TOKENS = 600
 MAX_INPUT_TOKEN_LENGTH = int(os.getenv("MAX_INPUT_TOKEN_LENGTH", "11000"))
 
 device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")
@@ -38,9 +38,6 @@ def generate(
     chat_history: list[dict],
     max_new_tokens: int = 1024,
     temperature: float = 0.6,
-    top_p: float = 0.9,
-    top_k: int = 50,
-    repetition_penalty: float = 1.2,
 ) -> Iterator[str]:
     conversation = chat_history.copy()
     conversation.append({"role": "user", "content": message})
@@ -80,17 +77,16 @@ demo = gr.ChatInterface(
         ),
         gr.Slider(
             label="Temperature",
-            minimum=0.1,
+            minimum=0.01,
             maximum=4.0,
             step=0.1,
-            value=0.1,
+            value=0.01,
         )
     ],
     stop_btn=None,
     examples=[
         ["Hello"],
-        ["""
-    أجب على السؤال بناءً على السياق أدناه 
+        ["""أجب على السؤال بناءً على السياق أدناه 
 
         السياق: تشمل الاتفاقيات رسوم حمل سنوية ثابت قدها 30 مليون جنيه إسترليني للقنوات نظراً لأن كلاً من مزوديها قادرين على تأمين دفعات إضافية إذا ما حققت هذه القنوات أهدافاً متعلقةً بالأداء. لا يوجد حالياً ما يشير إلى ما إذا كان الاتفاق الجديد يشمل محتوىً إضافياً كالفيديو عند الطلب والدقة العالية ، كذلك الذي سبق أن قدمته بي سكاي بي. وقد وافقت كل من بي سكاي بي و فيرجين ميديا على إنهاء الدعاوى القضائية بالمحكمة العليا ضد بعضهما بشأن معاليم الحمل التي تخص قنواتهما الأساسية. 
 
@@ -98,8 +94,7 @@ demo = gr.ChatInterface(
 
         الإجابة:
 """],
-    ["""
-       Answer the question based on the context below:\n
+    ["""Answer the question based on the context below:\n
 Context:\n
 For other people named Joseph Aoun, see Joseph Aoun (disambiguation).
 His Excellency