Upload 2 files

app.py

@@ -0,0 +1,148 @@
+# app.py
+import os
+import pickle
+import gzip
+import json
+import re
+import numpy as np
+import faiss
+from sentence_transformers import SentenceTransformer
+from rank_bm25 import BM25Okapi
+import google.generativeai as genai
+from flask import Flask, request, jsonify
+from flask_cors import CORS
+from huggingface_hub import hf_hub_download # Thư viện để tải file từ Hub
+
+print("--- KHỞI ĐỘNG MÁY CHỦ CHATBOT ---")
+
+# --- 1. THIẾT LẬP VÀ TẢI TÀI NGUYÊN TỪ HUGGING FACE HUB ---
+try:
+    print("Đang tải các tài nguyên cần thiết từ Hugging Face Hub...")
+    
+    # !!! THAY THẾ BẰNG USERNAME VÀ TÊN DATASET CỦA BẠN !!!
+    HF_REPO_ID = "TEN_USERNAME_HF/egov-bot-data" 
+
+    # Tự động tải các file từ "Kho Dữ liệu" về môi trường của Space
+    RAW_PATH = hf_hub_download(repo_id=HF_REPO_ID, filename="toan_bo_du_lieu_final.json")
+    FAISS_PATH = hf_hub_download(repo_id=HF_REPO_ID, filename="index.faiss")
+    METAS_PATH = hf_hub_download(repo_id=HF_REPO_ID, filename="metas.pkl.gz")
+    BM25_PATH = hf_hub_download(repo_id=HF_REPO_ID, filename="bm25.pkl.gz")
+    print("✅ Tải file dữ liệu thành công!")
+
+    # Lấy API Key từ Secret của Hugging Face
+    API_KEY = os.environ.get("GOOGLE_API_KEY") 
+    genai.configure(api_key=API_KEY)
+
+    # Tải các mô hình và dữ liệu
+    generation_model = genai.GenerativeModel('gemini-2.5-flash') 
+    embedding_model = SentenceTransformer("AITeamVN/Vietnamese_Embedding")
+    
+    faiss_index = faiss.read_index(FAISS_PATH)
+    with gzip.open(METAS_PATH, "rb") as f:
+        metadatas = pickle.load(f)
+    with gzip.open(BM25_PATH, "rb") as f:
+        bm25 = pickle.load(f)
+    with open(RAW_PATH, "r", encoding="utf-8") as f:
+        raw_data = json.load(f)
+        procedure_map = {item['nguon']: item for item in raw_data}
+
+    print(f"✅ Tải tài nguyên thành công! Sẵn có {faiss_index.ntotal} chunks kiến thức.")
+
+except Exception as e:
+    print(f"❌ LỖI KHI TẢI TÀI NGUYÊN: {e}")
+
+# --- 2. CÁC HÀM XỬ LÝ CỦA BỘ NÃO (LOGIC TỪ COLAB CỦA BẠN) ---
+# (Toàn bộ các hàm classify_followup, minmax_scale, retrieve, get_full_procedure_text của bạn được giữ nguyên ở đây)
+def classify_followup(text: str):
+    text = text.lower().strip()
+    score = 0
+    strong_followup_keywords = [r"\b(nó|cái (này|đó|ấy)|thủ tục (này|đó|ấy))\b", r"\b(vừa (nói|hỏi)|trước đó|ở trên|phía trên)\b", r"\b(tiếp theo|tiếp|còn nữa|ngoài ra)\b", r"\b(thế (thì|à)|vậy (thì|à)|như vậy)\b"]
+    detail_questions = [r"\b(mất bao lâu|thời gian|bao nhiêu tiền|chi phí|phí)\b", r"\b(ở đâu|tại đâu|chỗ nào|địa chỉ)\b", r"\b(cần (gì|những gì)|yêu cầu|điều kiện)\b"]
+    specific_services = [r"\b(làm|cấp|gia hạn|đổi|đăng ký)\s+(căn cước|cmnd|cccd)\b", r"\b(làm|cấp|gia hạn|đổi)\s+hộ chiếu\b", r"\b(đăng ký)\s+(kết hôn|sinh|tử|hộ khẩu)\b"]
+    if any(re.search(p, text) for p in strong_followup_keywords): score -= 3
+    if any(re.search(p, text) for p in detail_questions): score -= 2
+    if any(re.search(p, text) for p in specific_services): score += 3
+    if len(text.split()) <= 4: score -=1
+    return 0 if score < 0 else 1
+
+def minmax_scale(arr):
+    arr = np.array(arr, dtype="float32")
+    if len(arr) == 0 or np.max(arr) == np.min(arr): return np.zeros_like(arr)
+    return (arr - np.min(arr)) / (np.max(arr) - np.min(arr))
+
+def retrieve(query: str, top_k=3):
+    qv = embedding_model.encode([query], normalize_embeddings=True).astype("float32")
+    D, I = faiss_index.search(qv, top_k * 5)
+    vec_scores = (1 - D[0]).tolist()
+    vec_idx = I[0].tolist()
+    tokenized_query = query.split()
+    bm25_scores_all = bm25.get_scores(tokenized_query)
+    bm25_top_idx = np.argsort(-bm25_scores_all)[:top_k * 5].tolist()
+    union_idx = list(dict.fromkeys(vec_idx + bm25_top_idx))
+    vec_map = {i: s for i, s in zip(vec_idx, vec_scores)}
+    vec_list = [vec_map.get(i, 0.0) for i in union_idx]
+    bm25_list = [bm25_scores_all[i] for i in union_idx]
+    vec_scaled = minmax_scale(vec_list)
+    bm25_scaled = minmax_scale(bm25_list)
+    fused = 0.7 * vec_scaled + 0.3 * bm25_scaled
+    order = np.argsort(-fused)
+    return [union_idx[i] for i in order[:top_k]]
+
+def get_full_procedure_text(parent_id):
+    procedure = procedure_map.get(parent_id)
+    if not procedure: return "Không tìm thấy thủ tục."
+    parts = []
+    field_map = {"ten_thu_tuc": "Tên thủ tục", "cach_thuc_thuc_hien": "Cách thức thực hiện", "thanh_phan_ho_so": "Thành phần hồ sơ", "trinh_tu_thuc_hien": "Trình tự thực hiện", "co_quan_thuc_hien": "Cơ quan thực hiện", "yeu_cau_dieu_kien": "Yêu cầu, điều kiện", "thu_tuc_lien_quan": "Thủ tục liên quan", "nguon": "Nguồn"}
+    for k, v in procedure.items():
+        if v and k in field_map:
+            parts.append(f"{field_map[k]}:\n{str(v).strip()}")
+    return "\n\n".join(parts)
+
+# --- 3. KHỞI TẠO MÁY CHỦ FLASK VÀ API ---
+app = Flask(__name__)
+CORS(app)
+
+chat_histories = {} 
+
+@app.route('/chat', methods=['POST'])
+def chat():
+    data = request.json
+    user_query = data.get('question')
+    session_id = data.get('session_id', 'default')
+
+    if not user_query:
+        return jsonify({"error": "Không có câu hỏi nào được cung cấp"}), 400
+
+    if session_id not in chat_histories:
+        chat_histories[session_id] = []
+    
+    current_history = chat_histories[session_id]
+    
+    context = ""
+    if classify_followup(user_query) == 0 and current_history:
+        context = current_history[-1].get('context', '')
+        print(f"[{session_id}] Dùng lại ngữ cảnh cũ cho câu hỏi followup.")
+    else:
+        retrieved_indices = retrieve(user_query)
+        if retrieved_indices:
+            parent_id = metadatas[retrieved_indices[0]]["parent_id"]
+            context = get_full_procedure_text(parent_id)
+        print(f"[{session_id}] Đã tìm được ngữ cảnh mới.")
+
+    history_str = "\n".join([f"{item['role']}: {item['content']}" for item in current_history])
+    prompt = f"""Bạn là trợ lý eGov-Bot... (Nội dung prompt của bạn ở đây)
+    Lịch sử trò chuyện: {history_str}
+    DỮ LIỆU: --- {context} ---
+    CÂU HỎI: {user_query}
+    """
+    
+    response = generation_model.generate_content(prompt)
+    final_answer = response.text
+
+    current_history.append({'role': 'user', 'content': user_query})
+    current_history.append({'role': 'model', 'content': final_answer, 'context': context})
+    
+    return jsonify({"answer": final_answer})
+
+if __name__ == '__main__':
+    app.run(host='0.0.0.0', port=7860)

requirements.txt

@@ -0,0 +1,8 @@
+Flask
+flask-cors
+numpy==1.26.4
+sentence-transformers==2.2.2
+faiss-cpu==1.7.4
+rank_bm25==0.2.2
+google-generativeai
+huggingface-hub