Upload 2 files

app.py

@@ -0,0 +1,284 @@
+import gradio as gr
+import torch
+import unicodedata
+import re
+import numpy as np
+from pathlib import Path
+from transformers import AutoTokenizer, AutoModel
+from sklearn.feature_extraction.text import HashingVectorizer
+from sklearn.preprocessing import normalize as sk_normalize
+import chromadb
+import joblib
+import pickle
+import scipy.sparse
+import textwrap
+import os
+
+# --------------------------- CONFIG -----------------------------------
+DB_DIR = Path("./chroma_db_greekbertChatbotVol106")
+ASSETS_DIR = Path("./assets")
+
+# --- ΝΕΑ ΜΕΤΑΒΛΗΤΗ ΓΙΑ ΕΞΩΤΕΡΙΚΑ PDF ---
+# !!! ΣΗΜΑΝΤΙΚΟ: Αντικαταστήστε το παρακάτω URL με το πραγματικό βασικό URL 
+# όπου θα φιλοξενείτε τα PDF σας. Πρέπει να τελειώνει με '/'.
+EXTERNAL_PDF_BASE_URL = "https://your-pdf-hosting-service.com/path/to/your/pdfs/" 
+# Παράδειγμα: "https://storage.googleapis.com/my-bucket-name/pdfs/"
+# Αν δεν έχετε ακόμα επιλέξει υπηρεσία, μπορείτε να το αφήσετε κενό προς το παρόν, 
+# αλλά οι σύνδεσμοι PDF δεν θα λειτουργούν σωστά.
+# print(f"DEBUG: External PDF Base URL set to: {EXTERNAL_PDF_BASE_URL}") # Για έλεγχο
+
+# Οι παρακάτω μεταβλητές μπορεί να μην χρησιμοποιούνται πλέον άμεσα για την εξυπηρέτηση PDF,
+# αλλά τις αφήνουμε καθώς το Gradio μπορεί να τις χρειάζεται για άλλες λειτουργίες (π.χ. caching).
+
+GCS_BUCKET_NAME = "chatbotthesisihu"  # <<<--- ΑΛΛΑΞΤΕ ΤΟ ΑΥΤΟ!
+GCS_PUBLIC_URL_PREFIX = f"https://storage.googleapis.com/{GCS_BUCKET_NAME}/"
+
+
+STATIC_PDF_DIR = Path("./static_pdfs") 
+STATIC_PDF_DIR_NAME = "static_pdfs"
+
+COL_NAME = "dataset14_grbert_charword"
+MODEL_NAME = "sentence-transformers/paraphrase-xlm-r-multilingual-v1"
+CHUNK_SIZE = 512
+ALPHA_BASE = 0.2
+ALPHA_LONGQ = 0.5
+DEVICE = "cuda" if torch.cuda.is_available() else "cpu"
+
+print(f"Running on device: {DEVICE}")
+
+# ----------------------- PRE-/POST HELPERS ----------------------------
+def strip_acc(s: str) -> str:
+    return ''.join(ch for ch in unicodedata.normalize('NFD', s)
+                   if not unicodedata.combining(ch))
+
+STOP = {"σχετικο", "σχετικα", "με", "και"}
+
+def preprocess(txt: str) -> str:
+    txt = strip_acc(txt.lower())
+    txt = re.sub(r"[^a-zα-ω0-9 ]", " ", txt)
+    txt = re.sub(r"\s+", " ", txt).strip()
+    return " ".join(w for w in txt.split() if w not in STOP)
+
+def cls_embed(texts, tok, model):
+    out = []
+    enc = tok(texts, padding=True, truncation=True,
+              max_length=CHUNK_SIZE, return_tensors="pt").to(DEVICE)
+    with torch.no_grad():
+        hs = model(**enc, output_hidden_states=True).hidden_states
+        cls = torch.stack(hs[-4:],0).mean(0)[:,0,:]
+        cls = torch.nn.functional.normalize(cls, p=2, dim=1)
+        out.append(cls.cpu())
+    return torch.cat(out).numpy()
+
+# ---------------------- LOAD MODELS & DATA (Μία φορά κατά την εκκίνηση) --------------------
+print("⏳ Loading Model and Tokenizer...")
+try:
+    tok = AutoTokenizer.from_pretrained(MODEL_NAME)
+    model = AutoModel.from_pretrained(MODEL_NAME).to(DEVICE).eval()
+    print("✓ Model and tokenizer loaded.")
+except Exception as e:
+    print(f"CRITICAL ERROR loading model/tokenizer: {e}")
+    raise
+
+print("⏳ Loading TF-IDF vectorizers and SPARSE matrices...")
+try:
+    char_vec = joblib.load(ASSETS_DIR / "char_vectorizer.joblib")
+    word_vec = joblib.load(ASSETS_DIR / "word_vectorizer.joblib")
+    X_char = scipy.sparse.load_npz(ASSETS_DIR / "X_char_sparse.npz")
+    X_word = scipy.sparse.load_npz(ASSETS_DIR / "X_word_sparse.npz")
+    print("✓ TF-IDF components loaded (sparse matrices).")
+    print(f"   → X_char shape: {X_char.shape}, type: {type(X_char)}")
+    print(f"   → X_word shape: {X_word.shape}, type: {type(X_word)}")
+except Exception as e:
+    print(f"CRITICAL ERROR loading TF-IDF components: {e}")
+    raise
+
+print("⏳ Loading chunk data (pre_chunks, raw_chunks, ids, metas)...")
+try:
+    with open(ASSETS_DIR / "pre_chunks.pkl", "rb") as f:
+        pre_chunks = pickle.load(f)
+    with open(ASSETS_DIR / "raw_chunks.pkl", "rb") as f:
+        raw_chunks = pickle.load(f)
+    with open(ASSETS_DIR / "ids.pkl", "rb") as f:
+        ids = pickle.load(f)
+    with open(ASSETS_DIR / "metas.pkl", "rb") as f:
+        metas = pickle.load(f)
+    print(f"✓ Chunk data loaded. Total chunks from ids: {len(ids):,}")
+    if not all([pre_chunks, raw_chunks, ids, metas]):
+        print("WARNING: One or more chunk data lists are empty!")
+except Exception as e:
+    print(f"CRITICAL ERROR loading chunk data: {e}")
+    raise
+
+print("⏳ Connecting to ChromaDB...")
+try:
+    client = chromadb.PersistentClient(path=str(DB_DIR.resolve()))
+    col = client.get_collection(COL_NAME)
+    print(f"✓ Connected to ChromaDB. Collection '{COL_NAME}' count: {col.count()}")
+    if col.count() == 0:
+        print("WARNING: ChromaDB collection is empty or not found correctly!")
+except Exception as e:
+    print(f"CRITICAL ERROR connecting to ChromaDB or getting collection: {e}")
+    print(f"Attempted DB path for PersistentClient: {str(DB_DIR.resolve())}")
+    print("Ensure the ChromaDB directory structure is correct in your Hugging Face Space repository.")
+    raise
+
+# ---------------------- HYBRID SEARCH (Κύρια Λογική) ---------------------------------
+def hybrid_search_gradio(query, k=5):
+    if not query.strip():
+        return "Παρακαλώ εισάγετε μια ερώτηση."
+
+    if not ids:
+        return "Σφάλμα: Τα δεδομένα αναζήτησης (ids) δεν έχουν φορτωθεί. Επικοινωνήστε με τον διαχειριστή."
+
+    q_pre = preprocess(query)
+    words = q_pre.split()
+    alpha = ALPHA_LONGQ if len(words) > 30 else ALPHA_BASE
+
+    exact_ids_set = {ids[i] for i, t in enumerate(pre_chunks) if q_pre in t}
+
+    q_emb_np = cls_embed([q_pre], tok, model)
+    q_emb_list = q_emb_np.tolist()
+
+    try:
+        sem_results = col.query(
+            query_embeddings=q_emb_list,
+            n_results=min(k * 30, len(ids)),
+            include=["distances", "metadatas", "documents"]
+        )
+    except Exception as e:
+        print(f"ERROR during ChromaDB query: {e}")
+        return "Σφάλμα κατά την σημασιολογική αναζήτηση."
+
+    sem_sims = {doc_id: 1 - dist for doc_id, dist in zip(sem_results["ids"][0], sem_results["distances"][0])}
+
+    q_char_sparse = char_vec.transform([q_pre])
+    q_char_normalized = sk_normalize(q_char_sparse)
+    char_sim_scores = (q_char_normalized @ X_char.T).toarray().flatten()
+
+    q_word_sparse = word_vec.transform([q_pre])
+    q_word_normalized = sk_normalize(q_word_sparse)
+    word_sim_scores = (q_word_normalized @ X_word.T).toarray().flatten()
+
+    lex_sims = {}
+    for idx, (c_score, w_score) in enumerate(zip(char_sim_scores, word_sim_scores)):
+        if c_score > 0 or w_score > 0:
+            if idx < len(ids):
+                lex_sims[ids[idx]] = 0.85 * c_score + 0.15 * w_score
+            else:
+                print(f"Warning: Lexical score index {idx} out of bounds for ids list (len: {len(ids)}).")
+
+    all_chunk_ids_set = set(sem_sims.keys()) | set(lex_sims.keys()) | exact_ids_set
+    scored = []
+    for chunk_id_key in all_chunk_ids_set:
+        s = alpha * sem_sims.get(chunk_id_key, 0.0) + \
+            (1 - alpha) * lex_sims.get(chunk_id_key, 0.0)
+        if chunk_id_key in exact_ids_set:
+            s = 1.0
+        scored.append((chunk_id_key, s))
+
+    scored.sort(key=lambda x: x[1], reverse=True)
+
+    hits_output = []
+    seen_doc_main_ids = set()
+    for chunk_id_val, score_val in scored:
+        try:
+            idx_in_lists = ids.index(chunk_id_val)
+        except ValueError:
+            print(f"Warning: chunk_id '{chunk_id_val}' from search results not found in global 'ids' list. Skipping.")
+            continue
+
+        doc_meta = metas[idx_in_lists]
+        doc_main_id = doc_meta['id']
+
+        if doc_main_id in seen_doc_main_ids:
+            continue
+
+        original_url_from_meta = doc_meta.get('url', '#')
+
+        pdf_gcs_url = "#" 
+        pdf_filename_display = "N/A"
+        pdf_filename_extracted = None
+
+        if original_url_from_meta and original_url_from_meta != '#':
+            pdf_filename_extracted = os.path.basename(original_url_from_meta)
+            print(f"--- Debug: Original URL from meta: {original_url_from_meta}, Extracted filename: {pdf_filename_extracted}")
+
+            if pdf_filename_extracted and pdf_filename_extracted.lower().endswith(".pdf"):
+                # Κατασκευή του δημόσιου URL για το GCS
+                # Βεβαιωθείτε ότι τα ονόματα αρχείων στο GCS ταιριάζουν ακριβώς με το pdf_filename_extracted
+                pdf_gcs_url = f"{GCS_PUBLIC_URL_PREFIX}{pdf_filename_extracted}"
+                pdf_filename_display = pdf_filename_extracted # Εμφάνιση του ονόματος αρχείου
+                print(f"--- Debug: Constructed GCS URL: {pdf_gcs_url}")
+
+                # Δεν χρειάζεται πλέον να ελέγχουμε τοπική ύπαρξη ή να προσπαθούμε να ανοίξουμε τοπικά το αρχείο
+                # για τους σκοπούς της δημιουργίας του συνδέσμου.
+                # Η πηγή της αλήθειας είναι τώρα το GCS.
+            else: 
+                if not pdf_filename_extracted:
+                     print(f"--- Debug: pdf_filename_extracted is empty or None from os.path.basename.")
+                else:
+                     print(f"--- Debug: Extracted filename '{pdf_filename_extracted}' is not a PDF.")
+                pdf_filename_display = "Not a valid PDF link"
+        else: 
+            print(f"--- Debug: No valid original_url_from_meta found. URL was: '{original_url_from_meta}'")
+            pdf_filename_display = "No source URL"
+
+        hits_output.append({
+            "score": score_val,
+            "title": doc_meta.get('title', 'N/A'),
+            "snippet": raw_chunks[idx_in_lists][:500] + " ...",
+            "original_url_meta": original_url_from_meta, 
+                            # Τώρα χρησιμοποιούμε το GCS URL για εξυπηρέτηση
+            "pdf_serve_url": pdf_gcs_url, 
+            "pdf_filename_display": pdf_filename_display 
+        })
+        seen_doc_main_ids.add(doc_main_id)
+        if len(hits_output) >= k:
+            break
+
+    if not hits_output:
+        return "Δεν βρέθηκαν σχετικά αποτελέσματα."
+
+    # Δημιουργία της εξόδου Markdown
+    output_md = f"Βρέθηκαν **{len(hits_output)}** σχετικά αποτελέσματα:\n\n"
+    for hit in hits_output:
+        output_md += f"### {hit['title']} (Score: {hit['score']:.3f})\n"
+        snippet_wrapped = textwrap.fill(hit['snippet'].replace("\n", " "), width=100)
+        output_md += f"**Απόσπασμα:** {snippet_wrapped}\n"
+
+        if hit['pdf_serve_url'] and hit['pdf_serve_url'] != '#':
+            # Ο σύνδεσμος θα χρησιμοποιήσει το εξωτερικό URL
+            output_md += f"**Πηγή (PDF):** <a href='{hit['pdf_serve_url']}' target='_blank'>{hit['pdf_filename_display']}</a>\n"
+        elif hit['original_url_meta'] and hit['original_url_meta'] != '#':
+            # Εναλλακτικά, αν δεν υπάρχει εξωτερικό PDF URL, δείχνουμε το αρχικό URL από τα metadata
+            output_md += f"**Πηγή (αρχικό από metadata):** [{hit['original_url_meta']}]({hit['original_url_meta']})\n"
+        
+        # Προαιρετική προσθήκη συνδέσμου για το αρχείο txt (αφαιρέστε ή κρατήστε το σχολιασμένο αν δεν το χρειάζεστε πλέον)
+        # output_md += "\n\n---\n**Δοκιμαστικός Σύνδεσμος Κειμένου:** <a href='/file/static_pdfs/test_text_file.txt' target='_blank'>Άνοιγμα test_text_file.txt</a>\n"
+
+        output_md += "---\n"
+            
+    return output_md
+    
+
+# ---------------------- GRADIO INTERFACE -----------------------------------
+print("🚀 Launching Gradio Interface...")
+iface = gr.Interface(
+    fn=hybrid_search_gradio,
+    inputs=gr.Textbox(lines=3, placeholder="Γράψε την ερώτησή σου εδώ...", label="Ερώτηση προς τον βοηθό:"),
+    outputs=gr.Markdown(label="Απαντήσεις από τα έγγραφα:", rtl=False, sanitize_html=False),
+    title="🏛️ Ελληνικό Chatbot Υβριδικής Αναζήτησης (v1.1.0 - External PDFs)", 
+    description="Πληκτρολογήστε την ερώτησή σας για αναζήτηση στα διαθέσιμα έγγραφα. Η αναζήτηση συνδυάζει σημασιολογική ομοιότητα (GreekBERT) και ομοιότητα λέξεων/χαρακτήρων (TF-IDF).\nΧρησιμοποιεί το μοντέλο: sentence-transformers/paraphrase-xlm-r-multilingual-v1.\nΤα PDF (αν είναι διαμορφωμένα) ανοίγουν από εξωτερική πηγή σε νέα καρτέλα.",
+    allow_flagging="never",
+    examples=[
+        ["Ποια είναι τα μέτρα για τον κορονοϊό;", 5],
+        ["Πληροφορίες για άδεια ειδικού σκοπού", 3],
+        ["Τι προβλέπεται για τις μετακινήσεις εκτός νομού;", 5]
+    ],
+)
+
+if __name__ == '__main__':
+    # Η παράμετρος allowed_paths μπορεί να παραμείνει για άλλες λειτουργίες του Gradio,
+    # ακόμα κι αν δεν εξυπηρετούμε πλέον τα κύρια PDF μέσω αυτής.
+    iface.launch(allowed_paths=[STATIC_PDF_DIR_NAME])

requirements.txt

@@ -0,0 +1,15 @@
+--extra-index-url https://download.pytorch.org/whl/cu121
+torch==2.2.1+cu121
+torchaudio==2.2.1+cu121
+torchvision==0.17.1+cu121
+# -----------------------------
+transformers==4.38.2 # Ή όποια έκδοση αποφασίσεις
+chromadb==0.4.24     # <<<--- Η "κανονική" έκδοση που θα χρησιμοποιήσεις παντού
+scikit-learn==1.6.1  # <<<--- Από την προηγούμενη προειδοποίηση
+numpy==1.26.4
+sentence-transformers==2.6.1 # Ή όποια έκδοση αποφασίσεις
+gradio==4.20.0
+joblib==1.3.2
+unicodedata2
+tqdm
+scipy