Update app.py

app.py

@@ -10,14 +10,15 @@ from scipy.sparse import csr_matrix
 from transformers import AutoModel, AutoProcessor
 from sklearn.feature_extraction.text import TfidfVectorizer
 
-# Installation automatique des dépendances
-os.system("pip install faiss-cpu")
-
 # Vérifier si CUDA est disponible (GPU)
 device = "cuda" if torch.cuda.is_available() else "cpu"
 print(f"🔹 Utilisation du périphérique : {device}")
 
-# Chargement sécurisé du modèle Marqo avec plusieurs tentatives
+# Définition des chemins des fichiers JSON
+PRODUCTS_FILE = "products.json"
+QA_FILE = "qa_sequences_output.json"
+
+# Chargement sécurisé du modèle Marqo
 MAX_RETRIES = 3
 model_name = "Marqo/marqo-ecommerce-embeddings-L"
 
@@ -39,33 +40,31 @@ for attempt in range(MAX_RETRIES):
 
 # Fonction pour charger et fusionner les données
 def load_data():
-    # Charger les produits de products.json
-    try:
-        with open("/mnt/data/products.json", "r", encoding="utf-8") as f:
+    products_data, qa_data = [], []
+
+    # Charger les produits
+    if os.path.exists(PRODUCTS_FILE):
+        with open(PRODUCTS_FILE, "r", encoding="utf-8") as f:
             products_data = json.load(f).get("products", [])
-    except Exception as e:
-        print(f"⚠️ Erreur lors du chargement de products.json: {e}")
-        products_data = []
+    else:
+        print(f"⛔ Fichier introuvable : {PRODUCTS_FILE}")
 
-    # Charger les questions-réponses de qa_sequences_output.json
-    try:
-        with open("/mnt/data/qa_sequences_output.json", "r", encoding="utf-8") as f:
+    # Charger les questions-réponses
+    if os.path.exists(QA_FILE):
+        with open(QA_FILE, "r", encoding="utf-8") as f:
             qa_data = json.load(f)
-    except Exception as e:
-        print(f"⚠️ Erreur lors du chargement de qa_sequences_output.json: {e}")
-        qa_data = []
+    else:
+        print(f"⛔ Fichier introuvable : {QA_FILE}")
 
-    # Associer les informations QA aux produits
-    enriched_products = []
-    for product in products_data:
-        product_name = product.get("title", "").lower()
-        related_qa = [qa for qa in qa_data if product_name in qa.get("question", "").lower()]
-        product["qa_info"] = related_qa  # Ajouter les questions/réponses au produit
-        enriched_products.append(product)
+    return products_data, qa_data
 
-    return enriched_products
+products_data, qa_data = load_data()
 
-products_data = load_data()
+# Associer les questions-réponses aux produits
+for product in products_data:
+    product_name = product.get("title", "").lower()
+    related_qa = [qa for qa in qa_data if product_name in qa.get("question", "").lower()]
+    product["qa_info"] = related_qa  # Ajouter les questions/réponses au produit
 
 # Prétraitement du texte
 def preprocess(text: str) -> str:
@@ -76,6 +75,10 @@ def preprocess(text: str) -> str:
 
 # Génération des embeddings des produits optimisée
 def get_text_embeddings(texts, batch_size=32):
+    if not texts:  # Vérifier que la liste de textes n'est pas vide
+        print("⚠️ Avertissement : Aucun texte à encoder. Retour d'une matrice vide.")
+        return torch.zeros((0, model.config.hidden_size)).numpy()
+    
     with torch.no_grad():
         processed_texts = processor(text=texts, return_tensors="pt", truncation=True, max_length=64, padding=True).to(device)
         embeddings = model.get_text_features(processed_texts["input_ids"], normalize=True)