Feat: Use Python script for model download to fix permission error

Dockerfile

@@ -1,3 +1,5 @@
+# Dockerfile
+
 # 1. Gunakan base image Python yang stabil
 FROM python:3.11-slim
 
@@ -25,5 +27,4 @@ EXPOSE 7860
 
 # 9. Perintah untuk menjalankan aplikasi
 # Jalankan setup.sh untuk mengunduh model, LALU jalankan server Gunicorn.
-# Semua akan berjalan sebagai root, yang akan menyelesaikan masalah izin.
-CMD ["/bin/bash", "-c", "./setup.sh && gunicorn --bind 0.0.0.0:7860 --timeout 600 app:app"]
+CMD ["/bin/bash", "-c", "./setup.sh && gunicorn --bind 0.0.0.0:7860 --timeout 600 app:app"]

setup.sh

@@ -1,35 +1,12 @@
 #!/bin/bash
 
-# Script ini akan berjalan sekali saat Space dibangun.
-# Tujuannya adalah mengunduh semua model yang diperlukan ke persistent storage.
-
 echo "=================================================="
-echo "Memulai proses setup: Mengunduh semua model AI..."
+echo "Menjalankan skrip Python untuk mengunduh model..."
 echo "=================================================="
 
-# Direktori di dalam persistent storage untuk menyimpan model
-# Path ini akan menjadi /data/models di dalam container Docker Anda
-MODEL_STORAGE_PATH="/data/models"
-
-# Buat direktori jika belum ada
-mkdir -p $MODEL_STORAGE_PATH
-
-# Gunakan huggingface-cli untuk mengunduh setiap model
-# Perintah ini akan mengunduh model dan menyimpannya di path yang kita tentukan
-
-echo "Mengunduh BERT..."
-huggingface-cli download indobenchmark/indobert-base-p2 --local-dir $MODEL_STORAGE_PATH/bert --local-dir-use-symlinks False
-
-echo "Mengunduh RoBERTa..."
-huggingface-cli download cahya/roberta-base-indonesian-522M --local-dir $MODEL_STORAGE_PATH/roberta --local-dir-use-symlinks False
-
-echo "Mengunduh ELECTRA..."
-huggingface-cli download google/electra-base-discriminator --local-dir $MODEL_STORAGE_PATH/electra --local-dir-use-symlinks False
-
-echo "Mengunduh XLNet..."
-huggingface-cli download xlnet-base-cased --local-dir $MODEL_STORAGE_PATH/xlnet --local-dir-use-symlinks False
+# Jalankan skrip Python dari folder src
+python src/download_models.py
 
 echo "=================================================="
-echo "Semua model telah berhasil diunduh ke $MODEL_STORAGE_PATH"
+echo "Skrip setup selesai."
 echo "=================================================="
-

src/download_models.py

@@ -0,0 +1,49 @@
+# src/download_models.py
+import os
+from huggingface_hub import snapshot_download
+
+# Skrip ini akan dipanggil oleh setup.sh untuk mengunduh semua model
+# menggunakan pustaka Python, yang seringkali lebih stabil.
+
+# Path ke persistent storage di Hugging Face Spaces
+MODEL_STORAGE_PATH = "/data/models"
+
+# Daftar model yang akan diunduh
+MODELS_TO_DOWNLOAD = {
+    "bert": "indobenchmark/indobert-base-p2",
+    "roberta": "cahya/roberta-base-indonesian-522M",
+    "electra": "google/electra-base-discriminator",
+    "xlnet": "xlnet-base-cased"
+}
+
+def main():
+    print("==================================================")
+    print("Memulai proses download model dengan skrip Python...")
+    print("==================================================")
+    
+    for model_key, model_id in MODELS_TO_DOWNLOAD.items():
+        print(f"\n---> Mengunduh {model_key.upper()} ({model_id})")
+        
+        # Tentukan direktori tujuan untuk model ini
+        local_dir_path = os.path.join(MODEL_STORAGE_PATH, model_key)
+        
+        try:
+            # Unduh semua file dari repositori model ke direktori lokal
+            snapshot_download(
+                repo_id=model_id,
+                local_dir=local_dir_path,
+                local_dir_use_symlinks=False, # Penting untuk lingkungan Docker
+                resume_download=True # Akan melanjutkan unduhan jika terputus
+            )
+            print(f"---> {model_key.upper()} berhasil diunduh ke {local_dir_path}")
+        except Exception as e:
+            print(f"[ERROR] Gagal mengunduh {model_key.upper()}: {e}")
+            # Kita bisa memilih untuk melanjutkan atau berhenti. Mari kita lanjutkan.
+            pass
+
+    print("\n==================================================")
+    print("Proses download model selesai.")
+    print("==================================================")
+
+if __name__ == "__main__":
+    main()