Spaces:
Running
on
Zero
Running
on
Zero
Update app.py
Browse files
app.py
CHANGED
@@ -17,7 +17,7 @@ This is a demo of [`silma-ai/SILMA-Kashif-2B-Instruct-v1.0`](https://huggingface
|
|
17 |
|
18 |
MAX_MAX_NEW_TOKENS = 2048
|
19 |
DEFAULT_MAX_NEW_TOKENS = 1024
|
20 |
-
MAX_INPUT_TOKEN_LENGTH = int(os.getenv("MAX_INPUT_TOKEN_LENGTH", "
|
21 |
|
22 |
device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")
|
23 |
|
@@ -28,7 +28,7 @@ model = AutoModelForCausalLM.from_pretrained(
|
|
28 |
device_map="auto",
|
29 |
torch_dtype=torch.bfloat16,
|
30 |
)
|
31 |
-
model.config.sliding_window =
|
32 |
model.eval()
|
33 |
|
34 |
|
@@ -114,7 +114,15 @@ demo = gr.ChatInterface(
|
|
114 |
stop_btn=None,
|
115 |
examples=[
|
116 |
["Hello there! How are you doing?"],
|
117 |
-
["
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
118 |
],
|
119 |
cache_examples=False,
|
120 |
type="messages",
|
|
|
17 |
|
18 |
MAX_MAX_NEW_TOKENS = 2048
|
19 |
DEFAULT_MAX_NEW_TOKENS = 1024
|
20 |
+
MAX_INPUT_TOKEN_LENGTH = int(os.getenv("MAX_INPUT_TOKEN_LENGTH", "10000"))
|
21 |
|
22 |
device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")
|
23 |
|
|
|
28 |
device_map="auto",
|
29 |
torch_dtype=torch.bfloat16,
|
30 |
)
|
31 |
+
model.config.sliding_window = 12288
|
32 |
model.eval()
|
33 |
|
34 |
|
|
|
114 |
stop_btn=None,
|
115 |
examples=[
|
116 |
["Hello there! How are you doing?"],
|
117 |
+
[""""
|
118 |
+
أجب على السؤال بناءً على السياق أدناه
|
119 |
+
|
120 |
+
السياق: تشمل الاتفاقيات رسوم حمل سنوية ثابت قدها 30 مليون جنيه إسترليني للقنوات نظراً لأن كلاً من مزوديها قادرين على تأمين دفعات إضافية إذا ما حققت هذه القنوات أهدافاً متعلقةً بالأداء. لا يوجد حالياً ما يشير إلى ما إذا كان الاتفاق الجديد يشمل محتوىً إضافياً كالفيديو عند الطلب والدقة العالية ، كذلك الذي سبق أن قدمته بي سكاي بي. وقد وافقت كل من بي سكاي بي و فيرجين ميديا على إنهاء الدعاوى القضائية بالمحكمة العليا ضد بعضهما بشأن معاليم الحمل التي تخص قنواتهما الأساسية.
|
121 |
+
|
122 |
+
السؤال: ماسم الشركة التي وافقت على إنهاء دعواها القضائية ضد بي سكاي بي بالمحكمة العليا؟
|
123 |
+
|
124 |
+
الإجابة:
|
125 |
+
"""],
|
126 |
],
|
127 |
cache_examples=False,
|
128 |
type="messages",
|