Segizu commited on
Commit
b6df2f4
verified
1 Parent(s): ddd7815

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +38 -26
app.py CHANGED
@@ -1,29 +1,41 @@
1
- import gradio as gr
 
2
 
3
- with gr.Blocks(fill_height=True) as demo:
4
- with gr.Sidebar():
5
- gr.Markdown("# Inference Provider")
6
- gr.Markdown(
7
- "Este Space muestra el modelo Qwen/QwQ-32B, servido por la API hyperbolic. "
8
- "Inicia sesi贸n con tu cuenta de Hugging Face para usar esta API."
9
- )
10
- button = gr.LoginButton("Iniciar sesi贸n")
11
-
12
- # Cargamos el modelo usando el token proporcionado por el bot贸n
13
- model = gr.load("models/microsoft/phi-4", accept_token=button, provider="nebius")
14
-
15
- # Definimos la funci贸n que llama a la API del modelo
16
- def call_inference(prompt: str) -> str:
17
- respuesta = model(prompt)
18
- return respuesta
19
 
20
- # Creamos la interfaz para enviar un prompt y mostrar la respuesta
21
- with gr.Row():
22
- input_text = gr.Textbox(label="Ingresa tu prompt", placeholder="Escribe aqu铆...")
23
- output_text = gr.Textbox(label="Respuesta")
24
-
25
- # Bot贸n que ejecuta la funci贸n de inferencia
26
- infer_button = gr.Button("Generar")
27
- infer_button.click(fn=call_inference, inputs=input_text, outputs=output_text)
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
28
 
29
- demo.launch()
 
1
+ import streamlit as st
2
+ import requests
3
 
4
+ # Configuraci贸n de la barra lateral
5
+ st.sidebar.title("Inference Provider")
6
+ st.sidebar.markdown(
7
+ """
8
+ Esta aplicaci贸n permite ejecutar inferencias con diferentes modelos usando la API de Hugging Face.
9
+ Ingresa tu token y selecciona el modelo que deseas usar.
10
+ """
11
+ )
12
+ token = st.sidebar.text_input("Token de Hugging Face", type="password")
 
 
 
 
 
 
 
13
 
14
+ # Lista de modelos disponibles; puedes agregar o quitar modelos seg煤n necesites
15
+ model_list = ["Qwen/QwQ-32B", "gpt2", "distilbert-base-uncased"]
16
+ model_choice = st.sidebar.selectbox("Selecciona el modelo", model_list)
17
+
18
+ # 脕rea principal para la inferencia
19
+ st.title("Inferencia del Modelo")
20
+ prompt = st.text_area("Ingresa tu prompt", "Escribe aqu铆...")
21
+
22
+ if st.button("Ejecutar Inferencia"):
23
+ if not token:
24
+ st.error("Por favor, ingresa tu token de Hugging Face.")
25
+ else:
26
+ API_URL = f"https://api-inference.huggingface.co/models/{model_choice}"
27
+ headers = {"Authorization": f"Bearer {token}"}
28
+ payload = {"inputs": prompt}
29
+
30
+ with st.spinner("Ejecutando inferencia..."):
31
+ response = requests.post(API_URL, headers=headers, json=payload)
32
+ if response.status_code == 200:
33
+ try:
34
+ result = response.json()
35
+ st.write("Salida:")
36
+ st.write(result)
37
+ except Exception as e:
38
+ st.error("Error al interpretar la respuesta de la API.")
39
+ else:
40
+ st.error(f"Error {response.status_code}: {response.text}")
41