entrypoint.sh

#!/bin/bash
set -e

# Activar el entorno Conda
source /opt/conda/etc/profile.d/conda.sh
conda activate sllm

# Establecer el puerto de la aplicación
export APP_PORT=${PORT:-8080}
echo "Iniciando servicios en el puerto $APP_PORT"

# Iniciar Ray con mayor tiempo de espera para asegurar la detección de workers
ray start --head --port=6379 --num-cpus=4 --num-gpus=0 --resources='{"control_node": 1}' &
sleep 10

# Iniciar Serverless LLM Store
python -m serverless_llm_store start &
sleep 10

# Iniciar SLLM Serve
sllm-serve start --port 8080 &
sleep 10

# Esperar a que el puerto 8073 (u otro servicio crítico) esté activo
#while ! nc -z localhost 8073; do
#    echo "Esperando que el puerto 8073 se inicie..."
#    sleep 2
#done

# Desplegar el modelo (se recomienda verificar que el modelo "lilmeaty/my_xdd" esté disponible)
sllm-cli deploy --model lilmeaty/my_xdd || echo "Error en el despliegue del modelo. Verifique los logs y la disponibilidad del modelo."

# Mantener el contenedor activo
wait