karimouda commited on
Commit
cd7cf50
·
verified ·
1 Parent(s): e92c1b5

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +11 -3
app.py CHANGED
@@ -17,7 +17,7 @@ This is a demo of [`silma-ai/SILMA-Kashif-2B-Instruct-v1.0`](https://huggingface
17
 
18
  MAX_MAX_NEW_TOKENS = 2048
19
  DEFAULT_MAX_NEW_TOKENS = 1024
20
- MAX_INPUT_TOKEN_LENGTH = int(os.getenv("MAX_INPUT_TOKEN_LENGTH", "10096"))
21
 
22
  device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")
23
 
@@ -28,7 +28,7 @@ model = AutoModelForCausalLM.from_pretrained(
28
  device_map="auto",
29
  torch_dtype=torch.bfloat16,
30
  )
31
- model.config.sliding_window = 4096
32
  model.eval()
33
 
34
 
@@ -114,7 +114,15 @@ demo = gr.ChatInterface(
114
  stop_btn=None,
115
  examples=[
116
  ["Hello there! How are you doing?"],
117
- ["Can you explain briefly to me what is the Python programming language?"],
 
 
 
 
 
 
 
 
118
  ],
119
  cache_examples=False,
120
  type="messages",
 
17
 
18
  MAX_MAX_NEW_TOKENS = 2048
19
  DEFAULT_MAX_NEW_TOKENS = 1024
20
+ MAX_INPUT_TOKEN_LENGTH = int(os.getenv("MAX_INPUT_TOKEN_LENGTH", "10000"))
21
 
22
  device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")
23
 
 
28
  device_map="auto",
29
  torch_dtype=torch.bfloat16,
30
  )
31
+ model.config.sliding_window = 12288
32
  model.eval()
33
 
34
 
 
114
  stop_btn=None,
115
  examples=[
116
  ["Hello there! How are you doing?"],
117
+ [""""
118
+ أجب على السؤال بناءً على السياق أدناه
119
+
120
+ السياق: تشمل الاتفاقيات رسوم حمل سنوية ثابت قدها 30 مليون جنيه إسترليني للقنوات نظراً لأن كلاً من مزوديها قادرين على تأمين دفعات إضافية إذا ما حققت هذه القنوات أهدافاً متعلقةً بالأداء. لا يوجد حالياً ما يشير إلى ما إذا كان الاتفاق الجديد يشمل محتوىً إضافياً كالفيديو عند الطلب والدقة العالية ، كذلك الذي سبق أن قدمته بي سكاي بي. وقد وافقت كل من بي سكاي بي و فيرجين ميديا على إنهاء الدعاوى القضائية بالمحكمة العليا ضد بعضهما بشأن معاليم الحمل التي تخص قنواتهما الأساسية.
121
+
122
+ السؤال: ماسم الشركة التي وافقت على إنهاء دعواها القضائية ضد بي سكاي بي بالمحكمة العليا؟
123
+
124
+ الإجابة:
125
+ """],
126
  ],
127
  cache_examples=False,
128
  type="messages",