Update app.py

app.py

@@ -10,7 +10,7 @@ import faiss
 import json
 import numpy as np
 from dotenv import load_dotenv
-import requests
+from huggingface_hub import InferenceClient
 
 # Carica le variabili d'ambiente
 load_dotenv()
@@ -24,8 +24,8 @@ logging.basicConfig(
 logger = logging.getLogger(__name__)
 
 # Recupera la chiave API
-API_KEY = os.getenv("HF_API_KEY")
-if not API_KEY:
+HF_API_KEY = os.getenv("HF_API_KEY")
+if not HF_API_KEY:
     logger.error("HF_API_KEY non impostata.")
     raise EnvironmentError("HF_API_KEY non impostata.")
 
@@ -46,6 +46,9 @@ except Exception as e:
     logger.error(f"Errore nel caricamento del modello SentenceTransformer: {e}")
     raise e
 
+# Inizializza il client di Hugging Face
+client = InferenceClient(api_key=HF_API_KEY)
+
 def create_data_directory():
     """Crea la directory 'data/' se non esiste."""
     os.makedirs(os.path.join(BASE_DIR, "data"), exist_ok=True)
@@ -81,17 +84,17 @@ def create_faiss_index(documents_file: str, index_file: str, embedding_model_ins
             document = json.load(f)
         lines = document['lines']
         logger.info(f"{len(lines)} linee caricate da {documents_file}.")
-    
+
         # Genera embedding
         embeddings = embedding_model_instance.encode(lines, convert_to_numpy=True, show_progress_bar=True)
         logger.info("Embedding generati con SentenceTransformer.")
-    
+
         # Crea l'indice FAISS
         dimension = embeddings.shape[1]
         index = faiss.IndexFlatL2(dimension)
         index.add(embeddings)
         logger.info(f"Indice FAISS creato con dimensione: {dimension}.")
-    
+
         # Salva l'indice
         faiss.write_index(index, index_file)
         logger.info(f"Indice FAISS salvato in {index_file}.")
@@ -142,23 +145,23 @@ def retrieve_relevant_lines(query: str, top_k: int = 5, embedding_model_instance
             document = json.load(f)
         lines = document['lines']
         logger.info(f"{len(lines)} linee caricate da {DOCUMENTS_FILE}.")
-    
+
         # Carica l'indice FAISS
         index = faiss.read_index(FAISS_INDEX_FILE)
         logger.info(f"Indice FAISS caricato da {FAISS_INDEX_FILE}.")
-    
+
         # Genera embedding della query
         if embedding_model_instance is None:
             embedding_model_instance = SentenceTransformer('all-MiniLM-L6-v2')
             logger.info("Modello SentenceTransformer caricato per l'embedding della query.")
-    
+
         query_embedding = embedding_model_instance.encode([query], convert_to_numpy=True)
         logger.info("Embedding della query generati.")
-    
+
         # Ricerca nell'indice
         distances, indices = index.search(query_embedding, top_k)
         logger.info(f"Ricerca FAISS completata. Risultati ottenuti: {len(indices[0])}")
-    
+
         # Recupera le linee rilevanti
         relevant_texts = [lines[idx] for idx in indices[0] if idx < len(lines)]
         retrieved_docs = "\n".join(relevant_texts)
@@ -205,38 +208,30 @@ Ora fornisci una breve spiegazione museale (massimo ~10 righe), senza inventare
 """
 
 async def call_hf_model(prompt: str, temperature: float = 0.5, max_tokens: int = 150) -> str:
-    """Chiama il modello Hugging Face tramite l'API REST e gestisce la risposta."""
+    """Chiama il modello Hugging Face tramite InferenceClient e gestisce la risposta."""
     logger.debug("Chiamo HF con il seguente prompt:")
     content_preview = (prompt[:300] + '...') if len(prompt) > 300 else prompt
     logger.debug(f"PROMPT => {content_preview}")
 
-    headers = {
-        "Authorization": f"Bearer {API_KEY}"
-    }
-    payload = {
-        "inputs": prompt,
-        "parameters": {
-            "temperature": temperature,
-            "max_new_tokens": max_tokens,
-            "top_p": 0.9
-        }
-    }
-
     try:
-        response = requests.post(
-            f"https://api-inference.huggingface.co/models/{HF_MODEL}",
-            headers=headers,
-            json=payload
+        # Utilizza il metodo chat.completions.create per interagire con il modello
+        response = client.chat.completions.create(
+            model=HF_MODEL,
+            messages=[
+                {"role": "user", "content": prompt}
+            ],
+            temperature=temperature,
+            max_tokens=max_tokens,
+            top_p=0.7,
+            stream=False  # Imposta su True se desideri gestire lo stream
         )
-        if response.status_code != 200:
-            logger.error(f"Errore nella chiamata all'API Hugging Face: {response.status_code} - {response.text}")
-            raise HTTPException(status_code=500, detail=f"Errore nell'API Hugging Face: {response.text}")
-        data = response.json()
-        logger.debug(f"Risposta completa dal modello: {data}")
-        if isinstance(data, list) and len(data) > 0 and "generated_text" in data[0]:
-            raw = data[0]["generated_text"]
-        elif "generated_text" in data:
-            raw = data["generated_text"]
+        logger.debug(f"Risposta completa dal modello: {response}")
+
+        # Estrai il testo generato
+        if isinstance(response, list) and len(response) > 0 and "generated_text" in response[0]:
+            raw = response[0]["generated_text"]
+        elif "generated_text" in response:
+            raw = response["generated_text"]
         else:
             raise ValueError("Nessun campo 'generated_text' nella risposta.")
 
@@ -245,7 +240,7 @@ async def call_hf_model(prompt: str, temperature: float = 0.5, max_tokens: int =
         logger.debug(f"Risposta HF single-line: {single_line}")
         return single_line.strip()
     except Exception as e:
-        logger.error(f"Errore nella chiamata all'API Hugging Face tramite requests: {e}")
+        logger.error(f"Errore nella chiamata all'API Hugging Face tramite InferenceClient: {e}")
         raise HTTPException(status_code=500, detail=str(e))
 
 # Variabile globale per le etichette delle entità