app.py

import gradio as gr
from transformers import AutoTokenizer, AutoModelForCausalLM
import torch
from huggingface_hub import login

# Hugging Face hesabınıza giriş yapın
login(token="your_huggingface_token_here")

# Doğru model adını kullanın
model_name = "meta-llama/Llama-2-7b-hf"  # veya kullanmak istediğiniz LLaMA modelinin doğru adı

# Model ve tokenizer'ı yükleyin
tokenizer = AutoTokenizer.from_pretrained(model_name, use_auth_token=True)
model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.float16, device_map="auto", use_auth_token=True)

def generate_text(prompt, max_length=100):
    inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
    outputs = model.generate(**inputs, max_length=max_length)
    return tokenizer.decode(outputs[0], skip_special_tokens=True)

# Gradio arayüzünü oluşturun
iface = gr.Interface(
    fn=generate_text,
    inputs=[
        gr.Textbox(lines=3, label="Prompt"),
        gr.Slider(minimum=10, maximum=500, value=100, step=1, label="Maksimum Uzunluk")
    ],
    outputs=gr.Textbox(label="Üretilen Metin"),
    title="LLaMA Metin Üreteci",
    description="LLaMA modeli kullanarak metin üretin."
)

# Arayüzü başlatın
iface.launch()