Update app.py

app.py

@@ -1,34 +1,25 @@
-import torch
-from transformers import pipeline
 import os
 import gradio as gr
+from huggingface_hub import InferenceApi
 
 model_id = 'dicta-il/dictalm-7b-instruct'
 
-# טעינת המודל והכנת המנוע
-should_use_fast = True
-print(f'should_use_fast = {should_use_fast}')
-
-local_rank = int(os.getenv('LOCAL_RANK', '0'))
-world_size = int(os.getenv('WORLD_SIZE', '1'))
-
-# בדיקת התקן - GPU או CPU
-device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
-print('Using device:', device)
-print()
-
-# יצירת המנוע עם pipeline
-generator = pipeline('text-generation', model=model_id,
-                     tokenizer=model_id,
-                     torch_dtype=torch.float16 if device.type == 'cuda' else torch.float32,
-                     use_fast=should_use_fast,
-                     trust_remote_code=True,
-                     device_map="auto" if device.type == 'cuda' else None)
+# יצירת API של Hugging Face
+api_key = os.getenv('HUGGINGFACE_API_KEY', '')
+generator = InferenceApi(repo_id=model_id, token=api_key)
 
 # פונקציית יצירת הטקסט
 def chat_with_model(history):
     prompt = history[-1]["content"]
-    result = generator(prompt, do_sample=True, min_length=20, max_length=64, top_k=40, top_p=0.92, temperature=0.9)[0]["generated_text"]
+    response = generator(prompt, parameters={
+        "do_sample": True,
+        "min_length": 20,
+        "max_length": 64,
+        "top_k": 40,
+        "top_p": 0.92,
+        "temperature": 0.9
+    })
+    result = response["generated_text"]
     return history + [{"role": "bot", "content": result}]
 
 # יצירת ממשק מתקדם עם Gradio בצורת צ'ט-בוט בסגנון אקדמי