fix

app.py

@@ -1,8 +1,27 @@
+import spaces
+import gradio as gr
+from transformers import AutoModelForCausalLM, AutoTokenizer
 import torch
 
-print("CUDA mevcut mu?:", torch.cuda.is_available())
-print("GPU Sayısı:", torch.cuda.device_count())
-if torch.cuda.is_available():
-    print("GPU Adı:", torch.cuda.get_device_name(0))
-else:
-    print("CUDA GPU ALGILANMADI! Hugging Face Spaces'in GPU kullandığını kontrol et.")
+MODEL_NAME = "osmankoc/llama-2-7b-zoa"
+
+# ZeroGPU için model GPU'ya sadece gerektiğinde yüklenecek
+@spaces.GPU
+def generate(prompt):
+    tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME)
+    model = AutoModelForCausalLM.from_pretrained(
+        MODEL_NAME, torch_dtype=torch.float16, device_map="auto"
+    )
+    inputs = tokenizer(prompt, return_tensors="pt").to("cuda")
+    output = model.generate(**inputs, max_length=500)
+    response = tokenizer.decode(output[0], skip_special_tokens=True)
+    return response
+
+# Gradio UI (Basit bir API arayüzü gibi çalışacak)
+demo = gr.Interface(
+    fn=generate,
+    inputs=gr.Textbox(placeholder="Enter prompt..."),
+    outputs=gr.Textbox(),
+)
+
+demo.launch()