Update app.py

app.py

@@ -28,13 +28,10 @@ def load_llm():
 SYSTEM_PROMPT = "به فارسی، روشن و کوتاه پاسخ بده (حداکثر ۲ جمله)."
 
 def respond(message, history):
-    # 1) message می‌تونه dict یا str باشد
-    if isinstance(message, dict):
-        user_text = message.get("content", "")
-    else:
-        user_text = str(message or "")
+    # message می‌تواند dict یا str باشد
+    user_text = message.get("content", "") if isinstance(message, dict) else str(message or "")
 
-    # 2) history می‌تونه tuples یا messages باشد
+    # history می‌تواند tuples یا messages باشد
     msgs = [{"role": "system", "content": SYSTEM_PROMPT}]
     if history and isinstance(history[0], dict) and "role" in history[0]:
         msgs.extend(history)
@@ -45,29 +42,18 @@ def respond(message, history):
     msgs.append({"role": "user", "content": user_text})
 
     llm = load_llm()
-    print(">> gen start")
+    print(">> gen start (non-stream)")
+    out = llm.create_chat_completion(
+        messages=msgs,
+        max_tokens=64,      
+        temperature=0.4,
+        top_p=0.9,
+        stream=False,       
+    )
+    text = out["choices"][0]["message"]["content"]
+    print(">> gen done (non-stream)")
+    return text
 
-    partial = ""
-    try:
-        for chunk in llm.create_chat_completion(
-            messages=msgs,
-            max_tokens=64,
-            temperature=0.4,
-            top_p=0.9,
-            stream=True,
-        ):
-            choice = chunk["choices"][0]
-            delta = choice.get("delta") or {}
-            token = delta.get("content") or ""
-            if token:
-                partial += token
-                yield partial
-            if choice.get("finish_reason"):
-                break
-        print(">> gen done")
-    except Exception as e:
-        print(">> exception:", repr(e))
-        yield "متاسفم، در تولید پاسخ خطایی رخ داد. دوباره امتحان کن."
 
 demo = gr.ChatInterface(
     fn=respond,