Update app.py

app.py

@@ -1,29 +1,23 @@
-import os
+from gradio_client import Client
 import gradio as gr
-from transformers import AutoModelForCausalLM, AutoTokenizer
-import torch
 
-# טוען את המודל וה-tokenizer
-tokenizer = AutoTokenizer.from_pretrained('dicta-il/dictalm-7b-instruct')
-model = AutoModelForCausalLM.from_pretrained('dicta-il/dictalm-7b-instruct', trust_remote_code=True)
+# חיבור ל-Space עם המודל ב-Hugging Face
+client = Client("dicta-il/dictalm2.0-instruct-demo")
 
-# הגדרת הפונקציה לצ'אט עם המודל
 def chat_with_model(prompt):
-    model.eval()
-    with torch.inference_mode():
-        kwargs = dict(
-            inputs=tokenizer(prompt, return_tensors='pt').input_ids,
-            do_sample=True,
-            top_k=50,
-            top_p=0.95,
-            temperature=0.5,  # הורדת הטמפרטורה להקטנת האקראיות
-            max_length=50,  # הקטנת המקסימום למספר קטן יותר
-            min_new_tokens=5
-        )
-        output = model.generate(**kwargs)
-        response_text = tokenizer.batch_decode(output, skip_special_tokens=True)[0]
-    return response_text
+    result = client.predict(
+        message=prompt,
+        api_name="/chat"
+    )
+    return result
 
-# יצירת ממשק עם Gradio
-interface = gr.Interface(fn=chat_with_model, inputs="text", outputs="text", title="Chat with DictaLM Model")
-interface.launch()
+# יצירת ממשק מתקדם עם Gradio
+with gr.Blocks() as demo:
+    gr.Markdown("# Chat with DictaLM Model")
+    with gr.Row():
+        input_text = gr.Textbox(label="Enter your prompt here", lines=3)
+        output_text = gr.Textbox(label="Model's response", lines=5)
+    submit_btn = gr.Button("Submit")
+    submit_btn.click(chat_with_model, inputs=input_text, outputs=output_text)
+
+demo.launch()