Update app.py

app.py

@@ -16,16 +16,19 @@ def load_llm():
         local_dir=".",
         local_dir_use_symlinks=False,
     )
+    # تغییرات سرعت: n_ctx کمتر و n_batch اضافه شد
     llm = Llama(
         model_path=model_path,
-        n_ctx=2048,
+        n_ctx=1024,                           # CHANGED: قبلاً 2048 بود
         n_threads=max(2, os.cpu_count() or 2),
         n_gpu_layers=0,
+        n_batch=64,                           # CHANGED: پردازش سریع‌تر روی CPU
         verbose=False,
     )
     return llm
 
-SYSTEM_PROMPT = "You are a helpful assistant that answers in Persian (Farsi) clearly and concisely."
+# پاسخ‌های کوتاه‌تر و سریع‌تر
+SYSTEM_PROMPT = "به فارسی، واضح و خیلی کوتاه جواب بده (حداکثر ۲ جمله)."
 
 def build_prompt(message, history):
     prompt = f"<s>[SYSTEM]\n{SYSTEM_PROMPT}\n[/SYSTEM]\n"
@@ -37,10 +40,11 @@ def build_prompt(message, history):
 def respond(message, history):
     llm = load_llm()
     prompt = build_prompt(message, history)
+    # تغییرات سرعت: max_tokens و temperature
     stream = llm.create_completion(
         prompt=prompt,
-        max_tokens=256,
-        temperature=0.7,
+        max_tokens=120,                       # CHANGED: قبلاً 256 بود
+        temperature=0.5,                      # کمی خنک‌تر تا جواب‌ها جمع‌وجورتر شوند
         top_p=0.9,
         stop=["[/ASSISTANT]", "[USER]", "\n[USER]"],
         stream=True,
@@ -49,13 +53,4 @@ def respond(message, history):
     for out in stream:
         token = out["choices"][0]["text"]
         partial += token
-        yield partial
-
-demo = gr.ChatInterface(
-    fn=respond,
-    title="چت‌بات خیلی ساده (CPU رایگان)",
-    description="TinyLlama 1.1B (GGUF) روی llama.cpp برای یادگیری راه‌اندازی LLM.",
-)
-
-if __name__ == "__main__":
-    demo.launch()
+        yield parti