Update app.py

app.py

@@ -1,10 +1,14 @@
 # Import Library yang Diperlukan
 import gradio as gr
-import shutil
+import gdown
+import pandas as pd
 import os
-import subprocess
+import threading
+import schedule
+import time
+from datetime import datetime
 from llama_cpp import Llama
-from llama_index.core import SimpleDirectoryReader, VectorStoreIndex, Settings
+from llama_index.core import SimpleDirectoryReader, VectorStoreIndex, Settings, Document
 from llama_index.core.llms import ChatMessage
 from llama_index.llms.llama_cpp import LlamaCPP
 from llama_index.embeddings.huggingface import HuggingFaceEmbedding
@@ -13,11 +17,10 @@ from llama_index.core.node_parser import SentenceSplitter
 
 # Fungsi untuk mengunduh model Llama
 def initialize_llama_model():
-    # Unduh model jika belum ada di direktori kerja
     model_path = hf_hub_download(
-        repo_id="TheBLoke/zephyr-7b-beta-GGUF",  # Nama repo model
-        filename="zephyr-7b-beta.Q4_K_M.gguf",  # Nama file model
-        cache_dir="./models"  # Lokasi direktori untuk menyimpan model
+        repo_id="TheBLoke/zephyr-7b-beta-GGUF",  
+        filename="zephyr-7b-beta.Q4_K_M.gguf",  
+        cache_dir="./models"  
     )
     return model_path
 
@@ -28,74 +31,99 @@ def initialize_settings(model_path):
         temperature=0.7,
     )
 
-# Fungsi untuk Menginisialisasi Index
-def initialize_index():
-    # Tentukan dokumen input untuk pembacaan data
-    documents = SimpleDirectoryReader(input_files=["bahandokumen/K3.txt",
-                                                   "bahandokumen/bonus.txt",
-                                                   "bahandokumen/cuti.txt",
-                                                   "bahandokumen/disiplinkerja.txt",
-                                                   "bahandokumen/fasilitas&bantuan.txt",
-                                                   "bahandokumen/upahlembur.txt",
-                                                   "bahandokumen/waktukerja.txt"]).load_data()
+# Fungsi untuk mengunduh file CSV terbaru dari Google Drive
+def download_csv_from_drive():
+    csv_url = "https://drive.google.com/uc?id=1UIx369_8GlzPiKArMVg8v-IwC6hYTYA0"  # Ganti dengan ID file Google Drive kamu
+    output_csv = "data.csv"
 
+    if os.path.exists(output_csv):
+        os.remove(output_csv)  # Hapus file lama
+
+    print("🔄 Mengunduh file CSV terbaru...")
+    gdown.download(csv_url, output_csv, quiet=False)
+    return output_csv
+
+# Fungsi untuk update index (dijalankan 1x sehari)
+def update_index():
+    print(f"🔄 [{datetime.now()}] Mengupdate index dengan data terbaru...")
+    csv_file = download_csv_from_drive()
+
+    # Baca CSV dengan Pandas
+    df = pd.read_csv(csv_file)
+
+    # Konversi isi CSV menjadi dokumen teks
+    documents = [Document(text=" | ".join(map(str, row.values))) for _, row in df.iterrows()]
+
+    # Tambahkan file dokumen lain
+    text_documents = SimpleDirectoryReader(input_files=[
+        "bahandokumen/K3.txt",
+        "bahandokumen/bonus.txt",
+        "bahandokumen/cuti.txt",
+        "bahandokumen/disiplinkerja.txt",
+        "bahandokumen/fasilitas&bantuan.txt",
+        "bahandokumen/upahlembur.txt",
+        "bahandokumen/waktukerja.txt"
+    ]).load_data()
+    
+    documents.extend(text_documents)
+
+    # Parsing dokumen menjadi nodes
     parser = SentenceSplitter(chunk_size=150, chunk_overlap=10)
     nodes = parser.get_nodes_from_documents(documents)
+    
+    # Gunakan model embedding
     embedding = HuggingFaceEmbedding("firqaaa/indo-sentence-bert-base")
     Settings.embed_model = embedding
+    
+    # Buat index vektor
+    global index
     index = VectorStoreIndex(nodes)
-    return index
+    print("✅ Index berhasil diperbarui!")
 
 # Inisialisasi Mesin Chat
-def initialize_chat_engine(index):
-    from llama_index.core.prompts import PromptTemplate
-    from llama_index.core.chat_engine.condense_plus_context import CondensePlusContextChatEngine
-    retriever = index.as_retriever(similarity_top_k=3)
-    chat_engine = CondensePlusContextChatEngine.from_defaults(
-        retriever=retriever,
-        verbose=True,
-    )
-    return chat_engine
+def initialize_chat_engine():
+    return index.as_chat_engine(chat_mode="condense_plus_context", similarity_top_k=3)
 
 # Fungsi untuk menghasilkan respons chatbot
-def generate_response(message, history, chat_engine):
-    chat_messages = [
-        ChatMessage(
-            role="system",
-            content="Anda adalah chatbot yang selalu menjawab pertanyaan secara singkat, ramah, dan jelas dalam bahasa Indonesia."
-        ),
-    ]
+def generate_response(message, history):
+    chat_engine = initialize_chat_engine()  # Gunakan index yang sudah diperbarui
     response = chat_engine.stream_chat(message)
-    text = "".join(response.response_gen)  # Gabungkan semua token menjadi string
-    history.append((message, text))  # Tambahkan ke riwayat
+    text = "".join(response.response_gen)  
+    history.append((message, text))  
     return history
 
-def clear_history(chat_engine):
-    chat_engine.clear()
-    
+# Scheduler untuk update otomatis setiap jam 12 malam
+def schedule_update():
+    schedule.every().day.at("00:00").do(update_index)
+    while True:
+        schedule.run_pending()
+        time.sleep(60)  # Cek setiap 1 menit
+
+# Fungsi untuk menjalankan scheduler di thread terpisah
+def start_scheduler():
+    thread = threading.Thread(target=schedule_update, daemon=True)
+    thread.start()
+
 # Inisialisasi Komponen Gradio untuk UI
-def launch_gradio(chat_engine):
+def launch_gradio():
     with gr.Blocks() as demo:
-        # Mengatur tombol untuk menghapus riwayat chat
         clear_btn = gr.Button("Clear")
-        clear_btn.click(lambda: clear_history(chat_engine))
-
-        # Membuat antarmuka chat
-        chat_interface = gr.ChatInterface(
-            lambda message, history: generate_response(message, history, chat_engine)
-        )
+        chat_interface = gr.ChatInterface(lambda message, history: generate_response(message, history))
     demo.launch()
 
 # Fungsi Utama untuk Menjalankan Aplikasi
 def main():
-    # Unduh model dan inisialisasi pengaturan
+    global index  # Agar index bisa diperbarui secara global
     model_path = initialize_llama_model()
-    initialize_settings(model_path)  # Mengirimkan model_path ke fungsi initialize_settings
-    # Inisialisasi index dan engine
-    index = initialize_index()
-    chat_engine = initialize_chat_engine(index)
-    # Luncurkan antarmuka
-    launch_gradio(chat_engine)
+    initialize_settings(model_path)
+    
+    print("🔄 Inisialisasi index pertama kali...")
+    update_index()  # Buat index pertama kali
+
+    print("⏳ Menjalankan scheduler update index (setiap jam 12 malam)...")
+    start_scheduler()  # Jalankan update otomatis di background
+
+    launch_gradio()  # Jalankan chatbot
     
 if __name__ == "__main__":
-    main()
+    main()