Create entrypoint.sh

entrypoint.sh

@@ -0,0 +1,31 @@
+#!/bin/bash
+
+# Activar el entorno Conda
+source /opt/conda/etc/profile.d/conda.sh
+conda activate sllm
+
+# Definir puerto de la aplicación
+export APP_PORT=${PORT:-8080}
+
+echo "Iniciando servicios en el puerto $APP_PORT"
+
+# Iniciar Ray
+ray start --head --port=6379 --num-cpus=4 --num-gpus=0 --resources='{"control_node": 1}' &
+sleep 5
+
+# Iniciar Serverless LLM Store
+python -m serverless_llm_store start &
+sleep 5
+
+# Iniciar SLLM Serve
+sllm-serve start --port 8080 &
+sleep 5
+
+# Esperar a que el puerto 8073 esté disponible antes de desplegar el modelo
+while ! nc -z localhost 8073; do sleep 2; done
+
+# Desplegar el modelo
+sllm-cli deploy --model lilmeaty/my_xdd
+
+# Mantener el contenedor corriendo
+wait