Update app.py

app.py

@@ -1,5 +1,14 @@
 # app.py
 
+# === GEREKLİ KÜTÜPHANELER ===
+# Bu komutları Colab'da veya yerel ortamınızda bir kez çalıştırmanız gerekebilir.
+# !pip install gradio
+# !pip install faiss-cpu
+# !pip install datasets
+# !pip install transformers accelerate peft bitsandbytes
+# !pip install sentence-transformers
+# !pip install scikit-learn
+# !pip install nltk # For Turkish stopwords
 
 import torch
 import gradio as gr
@@ -17,9 +26,10 @@ import random
 from datetime import datetime
 from collections import deque
 import time
-import re 
+import re # Regular expressions for robust text cleaning
 import nltk
-from nltk.corpus import stopwords 
+from nltk.corpus import stopwords # For TF-IDF Turkish stopwords
+
 
 
 # === CSS ve Emoji Fonksiyonu ===
@@ -85,7 +95,7 @@ def add_emojis(text: str) -> str:
         "merak": "🤔", "meraklı": "🤔",
         "kültür": "🌍", "toplum": "👥",
         "yalan": "🤥", "gerçek": "✨",
-        "clarisse": "🌸", "faber": "👴", "beatty": "🚨" 
+        "clarisse": "🌸", "faber": "👴", "beatty": "🚨" # Montag karakterleri için emojiler
     }
 
     found_emojis = []
@@ -109,21 +119,23 @@ QA_PATH = "data/qa_dataset.jsonl" # LoRA fine-tuning örnekleri için kullanıl
 BASE_MODEL_FOR_DEMO = "ytu-ce-cosmos/turkish-gpt2-large" # Kullandığınız temel model
 LOR_MODEL_PATH = "lora_model_weights" # LoRA adaptör ağırlıklarının kaydedileceği/yükleneceği yol
 
-FAHRENHEIT_TEXT_FILE = "fahrenheittt451.txt"
+FAHRENHEIT_TEXT_FILE = "fahrenheittt451.txt" # Kitap metin dosyanızın adı
 
-MAX_EXPECTED_TIME = 120.0 
+# Tahmini maksimum cevap süresi (saniye) - Donanım ve modele göre ayarlayın.
+MAX_EXPECTED_TIME = 120.0 # Ortalama bir değer, kendi sisteminize göre ayarlayın!
 
 # === GLOBAL DEĞİŞKENLER ===
-# Bu değişkenler initialize_components fonksiyonu 
+# Bu değişkenler initialize_components fonksiyonu tarafından atanacak
 model = None
 tokenizer = None
 embedder = None
 paragraphs = []
 paragraph_embeddings = None
 index = None
-rl_agent = None 
+rl_agent = None # RLAgent nesnesi
 
 # === DOSYA VE KLASÖR YAPISI OLUŞTURMA ===
+# Google Drive bağlantıları olmadan yerel dosya yapısını oluşturur
 def setup_local_files():
     os.makedirs('data', exist_ok=True)
     os.makedirs(LOR_MODEL_PATH, exist_ok=True)
@@ -131,7 +143,8 @@ def setup_local_files():
     # Gerekli dosyaların varlığını kontrol et ve yoksa boş oluştur
     if not os.path.exists(FAHRENHEIT_TEXT_FILE):
         print(f"HATA: '{FAHRENHEIT_TEXT_FILE}' bulunamadı. Lütfen bu dosyayı projenizin ana dizinine yerleştirin.")
-       
+        # Uygulama metin olmadan çalışamaz, bu yüzden burada çıkış yapmayı düşünebilirsiniz.
+        # raise FileNotFoundError(f"{FAHRENHEIT_TEXT_FILE} not found.")
     
     if not os.path.exists(QA_PATH):
         open(QA_PATH, 'a').close() # Boş QA dosyası oluştur
@@ -271,8 +284,8 @@ def lora_finetune(filepath: str = QA_PATH, lora_output_path: str = LOR_MODEL_PAT
     peft_model.print_trainable_parameters()
 
     args = TrainingArguments(
-        output_dir="./results", 
-        num_train_epochs=3, 
+        output_dir="./results", # Geçici çıktılar buraya
+        num_train_epochs=3, # Daha az epoch ile başlayabilirsiniz
         per_device_train_batch_size=2,
         gradient_accumulation_steps=4,
         logging_steps=10,
@@ -456,13 +469,13 @@ MONTAG_PERSONA = (
     "**Eğer soru kitaptan veya doğrudan Montag'ın dünyasından bağımsızsa bile, cevabını Montag'ın bakış açısıyla, kitaplara ve bilgiye olan özlemiyle ilişkilendirerek ver.**"
 )
 
+# === BAĞLAM ALMA FONKSİYONU ===
 def retrieve_context(question: str, chatbot_history: List[List[str]], k: int = 2) -> Tuple[List[str], str]:
     """FAISS indeksini kullanarak sorguya, geçmiş sohbete ve kitap odaklı anahtar kelimelere en uygun paragrafları getirir."""
     if index is None or embedder is None or not paragraphs:
         print("WARNING: FAISS index, embedder or paragraphs not initialized for context retrieval.")
         return [], "Bağlam bulunamadı."
 
-    # --- history_queries'i burada tanımlıyoruz (SADECE BİR KERE) ---
     history_queries = []
     # Son 5 konuşma çiftini geçmişe dahil et (sadece kullanıcı mesajları)
     for user_msg, _ in chatbot_history[-5:]:
@@ -471,29 +484,13 @@ def retrieve_context(question: str, chatbot_history: List[List[str]], k: int = 2
             if cleaned_user_msg and not (("Montag düşünüyor..." in cleaned_user_msg) or ("saniyede üretildi" in cleaned_user_msg)):
                 history_queries.append(cleaned_user_msg)
 
-    # --- previous_paragraphs'ı burada tanımlıyoruz ---
-    # chatbot_history'deki tüm geçmiş mesajları (hem kullanıcı hem asistan) 'previous_paragraphs' olarak alabiliriz.
-    # Bu, zaten konuşulmuş konuların bağlam olarak tekrar getirilmesini engeller.
-    previous_paragraphs = []
-    for user_msg, assistant_msg in chatbot_history:
-        if user_msg:
-            cleaned_user_msg = user_msg.replace('📚', '').replace('🧠', '').replace('🔥', '').strip()
-            if cleaned_user_msg and not (("Montag düşünüyor..." in cleaned_user_msg) or ("saniyede üretildi" in cleaned_user_msg)):
-                previous_paragraphs.append(cleaned_user_msg)
-        if assistant_msg:
-            cleaned_assistant_msg = assistant_msg.replace('📚', '').replace('🧠', '').replace('🔥', '').strip()
-            if cleaned_assistant_msg and not (("Montag düşünüyor..." in cleaned_assistant_msg) or ("saniyede üretildi" in cleaned_assistant_msg)):
-                previous_paragraphs.append(cleaned_assistant_msg)
-    # Tekrar eden öğeleri kaldırıp listeyi benzersiz hale getirelim (opsiyonel ama iyi bir pratik)
-    previous_paragraphs = list(dict.fromkeys(previous_paragraphs))
-    # --- previous_paragraphs tanımı sonu ---
-
-
+    # Montag'ın temel kimliğini ve görevini yansıtan doğrudan anahtar kelimeler
     montag_identity_keywords = [
         "guy montag", "montag", "itfaiyeci", "kitap yakmak", "yakıcı", "yangın",
         "kül", "alev", "benzin", "kask", "savaş", "kaos", "direniş"
     ]
 
+    # Romanın genel temaları ve önemli karakterleri
     general_book_keywords = [
         "kitap", "okuma", "bilgi", "düşünce", "hakikat", "yasak", "sansür",
         "toplum", "televizyon", "mildred", "clarisse", "faber", "beatty",
@@ -501,22 +498,23 @@ def retrieve_context(question: str, chatbot_history: List[List[str]], k: int = 2
         "kaçış", "nehir"
     ]
 
+    # Kullanıcı sorgusu, geçmiş sorguları ve tüm anahtar kelimeleri birleştirerek tek bir arama metni oluştur
     combined_query_text = f"{question} {' '.join(history_queries)} {' '.join(montag_identity_keywords)} {' '.join(general_book_keywords)}"
-            
+    
+    # Fazla boşlukları temizleyelim
     combined_query_text = ' '.join(combined_query_text.split())
 
     try:
         query_embedding = embedder.encode([combined_query_text], convert_to_numpy=True).astype(np.float32)
         D, I = index.search(query_embedding, k)
-        
-        retrieved_texts = [p for i in I[0] if i < len(paragraphs) for p in [paragraphs[i]] if p not in previous_paragraphs]
+
+        retrieved_texts = [paragraphs[i] for i in I[0] if i < len(paragraphs)]
         unique_retrieved_texts = list(dict.fromkeys(retrieved_texts))
         context_text = "\n".join(unique_retrieved_texts)
-        return unique_retrieved_texts, context_text 
+        return unique_retrieved_texts, context_text # Hem liste hem de birleştirilmiş metni döndür
     except Exception as e:
         print(f"Bağlam alınırken hata: {e}")
-        return [], "Bağlam bulunamadı."
-    
+        return [], "Bağlam alınırken bir sorun oluştu."
 
 # === ALTERNATİF CEVAPLAR ===
 alternative_responses = [
@@ -581,27 +579,26 @@ def generate_answer(question: str, chatbot_history: List[List[str]]) -> Tuple[st
         print("ERROR: Model, tokenizer, embedder veya RL Agent başlatılmamış.")
         return generate_alternative_response(question), []
 
-    try: # Fonksiyonun tüm ana mantığını kapsayan try bloğu
+    try:
         gen_params = rl_agent.get_generation_params()
-                
+
         # Bağlamı al (hem metin hem de doküman listesi olarak)
-        # retrieve_context fonksiyonuna chatbot_history'yi doğru bir şekilde iletiyoruz.
-        # Eğer retrieve_context kendi içinde previous_paragraphs adında bir değişken bekliyorsa,
-        # o fonksiyonun içindeki tanımlama/atama doğru yapılmalı.
         retrieved_docs, context_text = retrieve_context(question, chatbot_history, k=2)
 
         history_text = ""
         # Son 3 konuşma çiftini geçmişe dahil et (emojileri temizleyerek)
         if chatbot_history:
-            for user_msg, assistant_msg in chatbot_history[-3:]: 
-                if user_msg and not (("Montag düşünüyor..." in user_msg) or ("saniyede üretildi" in user_msg) or user_msg.strip() == ""):
+            recent_dialogue = []
+            for user_msg, assistant_msg in chatbot_history[-3:]: # Son 3 konuşma yeterli
+                if user_msg:
                     cleaned_user_msg = user_msg.replace('📚', '').replace('🧠', '').replace('🔥', '').strip()
-                    history_text += f"Kullanıcı: {cleaned_user_msg}\n"
-                
-                if assistant_msg and not (("Montag düşünüyor..." in assistant_msg) or ("saniyede üretildi" in assistant_msg) or assistant_msg.strip() == ""):
+                    if cleaned_user_msg and not (("Montag düşünüyor..." in cleaned_user_msg) or ("saniyede üretildi" in cleaned_user_msg)):
+                        history_text += f"Kullanıcı: {cleaned_user_msg}\n"
+                if assistant_msg:
                     cleaned_assistant_msg = assistant_msg.replace('📚', '').replace('🧠', '').replace('🔥', '').strip()
-                    history_text += f"Montag: {cleaned_assistant_msg}\n"
-        
+                    if cleaned_assistant_msg and not (("Montag düşünüyor..." in cleaned_assistant_msg) or ("saniyede üretildi" in cleaned_assistant_msg)):
+                        history_text += f"Montag: {cleaned_assistant_msg}\n"
+
         prompt = (
             f"{MONTAG_PERSONA}\n\n"
             f"--- Bağlamdan Önemli Bilgiler ---\n{context_text}\n\n"
@@ -609,13 +606,14 @@ def generate_answer(question: str, chatbot_history: List[List[str]]) -> Tuple[st
             f"Kullanıcı: {question}\n"
             f"Montag: "
         )
-                        
-        # Prompt uzunluğunu kontrol et ve gerekirse kısalt
+        
+        # Prompt uzunluğunu kontrol et ve gerekirse kısalt (tokenizer'ın truncation'ına güveniyoruz)
         encoded_inputs = tokenizer.encode_plus(
             prompt,
             return_tensors="pt",
-            truncation=True, 
-            max_length=512, 
+            truncation=True, # Max_length'i aşarsa kırp
+            max_length=512, # Modelin alabileceği maksimum token sayısı
+            # padding="max_length" # Tek input için padding gerekli değil, ama batching için kullanılabilir
         ).to(DEVICE)
 
         inputs = encoded_inputs["input_ids"]
@@ -624,166 +622,145 @@ def generate_answer(question: str, chatbot_history: List[List[str]]) -> Tuple[st
         outputs = model.generate(
             inputs,
             attention_mask=attention_mask,
-            max_new_tokens=150, 
+            max_new_tokens=150, # Üretilecek maksimum yeni token sayısı
             do_sample=True,
             top_p=0.9,
             temperature=gen_params["temperature"],
-            repetition_penalty=gen_params["repetition_penalty"], 
-            no_repeat_ngram_size=6, 
-            num_beams=1,
+            repetition_penalty=gen_params["repetition_penalty"],
+            no_repeat_ngram_size=5, # 5 kelimelik tekrar eden dizileri engelle
+            num_beams=1, # Sampling kullandığımız için beam search'e gerek yok
             pad_token_id=tokenizer.eos_token_id,
             eos_token_id=tokenizer.eos_token_id,
+            early_stopping=True # EOS token'ı görürse üretimi durdur
         )
-                
         raw_response_with_prompt = tokenizer.decode(outputs[0], skip_special_tokens=True)
-        response = raw_response_with_prompt # Tüm temizlikler bu 'response' değişkeni üzerinde yapılacak
 
-        # --- Filtreleme için Gerekli Listelerin Tanımlaması (BURADA OLMALIDIR) ---
-        # "aggressive_words" hatasını çözmek için bu listeler burada tanımlanıyor.
-        aggressive_words = ["salak", "gerizekalı", "saçma", "boş konuşma", "kaba", "agresif"] 
-        
-        generic_or_nonsense_phrases = [
-            "içir unidur", "aligutat fakdam", "tetal inlay", "pessotim elgun", 
-            "nisman tarejoglu", "faksom", "achisteloy vandleradia", "vęudis",
-            "eltareh", "eldlar", "fotjid", "zuhalibalyon",
-            "etiketler:", 
-        ]
-
-        montag_keywords = ["kitap", "yakmak", "itfaiyeci", "clarisse", "faber", "beatty", "bilgi", "sansür", "düşünce", "gerçek", "televizyon", "alev", "kül", "mildred", "yangın", "fireman",
-                           "düşünmek", "anlamak", "hissetmek", "arayış", "isyan", "toplum", "cehalet", "yalnızlık", "monotonluk", "gerçeklik"] 
-
-        # --- ADIM 1: Önceki Montag Cevabını Temizleme (En yüksek öncelik) ---
-        last_assistant_response_in_history = ""
-        if chatbot_history and len(chatbot_history[-1]) > 1 and chatbot_history[-1][1] is not None:
-            last_assistant_response_in_history = chatbot_history[-1][1]
-            last_assistant_response_in_history = (
-                last_assistant_response_in_history.replace('📚', '')
-                                                  .replace('🧠', '')
-                                                  .replace('🔥', '')
-                                                  .replace('✅', '')
-                                                  .strip()
-            )
-            if "saniyede üretildi" in last_assistant_response_in_history.lower():
-                last_assistant_response_in_history = "" 
-
-        if last_assistant_response_in_history:
-            cleaned_raw_response_norm_space = re.sub(r'\s+', ' ', raw_response_with_prompt).strip()
-            cleaned_last_response_norm_space = re.sub(r'\s+', ' ', last_assistant_response_in_history).strip()
-            
-            if cleaned_raw_response_norm_space.lower().startswith(cleaned_last_response_norm_space.lower()):
-                response = raw_response_with_prompt[len(last_assistant_response_in_history):].strip()
-                print(f"DEBUG: Önceki Montag cevabı tespit edildi ve temizlendi: '{last_assistant_response_in_history[:50]}...'")
-
-        # --- ADIM 2: İlk "Montag:" Etiketini ve Prompt Kalıntılarını Temizleme ---
-        match = re.search(r'(?i)Montag:\s*(.*)', response, re.DOTALL)
-        if match:
-            response = match.group(1).strip()
-        else:
-            prompt_decoded_for_comparison = tokenizer.decode(inputs[0], skip_special_tokens=True)
-            if response.startswith(prompt_decoded_for_comparison):
-                response = response[len(prompt_decoded_for_comparison):].strip()
+        # --- Cevap Temizleme ve Post-Processing İyileştirmeleri ---
+        response = raw_response_with_prompt
+
+        # 1. Prompt'un kendisini ve "Montag:" kısmını cevaptan ayırma
+        # Modelin çıktısında "Montag: " kısmından sonraki bölümü almaya çalış
+        if prompt in response: # Eğer tüm prompt output içinde ise
+            response = response[len(prompt):].strip()
+        else: # Eğer prompt'un sadece son kısmı "Montag: " tekrar ediyorsa
+            response_start_marker = "Montag:"
+            if response_start_marker in response:
+                response = response.split(response_start_marker, 1)[-1].strip()
+            # Eğer prompt'un başı tekrar ediyorsa
+            else:
+                prompt_decoded_for_comparison = tokenizer.decode(inputs[0], skip_special_tokens=True)
+                if response.startswith(prompt_decoded_for_comparison):
+                    response = response[len(prompt_decoded_for_comparison):].strip()
+                else:
+                    response = raw_response_with_prompt.strip() # Hiçbir şey bulunamazsa ham cevabı al
 
-        # --- ADIM 3: Persona Talimatları ve Genel Gürültüyü Temizleme ---
+        # 2. Persona talimatlarının cevapta tekrarlanmasını engelle (güncel MONTAG_PERSONA'ya göre)
         persona_lines = [line.strip() for line in MONTAG_PERSONA.split('\n') if line.strip()]
         for line in persona_lines:
             if response.lower().startswith(line.lower()):
                 response = response[len(line):].strip()
         
+        # 3. Fazladan "Kullanıcı: " veya "Montag: " tekrarlarını ve anlamsız tokenleri temizle
         response = response.replace("<unk>", "").strip()
         response = response.replace(" .", ".").replace(" ,", ",").replace(" ?", "?").replace(" !", "!")
         
+        # Ek olarak, cevabın içinde hala kalmış olabilecek "Kullanıcı:" veya "Montag:" etiketlerini temizle
         response = re.sub(r'Kullanıcı:\s*', '', response, flags=re.IGNORECASE)
         response = re.sub(r'Montag:\s*', '', response, flags=re.IGNORECASE)
         
+        # Cevabın içinde "ETİKETLER:" gibi ifadeler varsa temizle
         if "ETİKETLER:" in response:
             response = response.split("ETİKETLER:", 1)[0].strip()
         
-        response = re.sub(r'\[\s*\.{3,}\s*\]', '', response).strip()         
+        # Cevabın sonundaki "[...]" gibi ifadeleri temizle
+        response = re.sub(r'\[\s*\.{3,}\s*\]', '', response).strip() # "[...]" veya "[... ]" gibi ifadeleri temizler
 
-        # --- ADIM 4: Spesifik Tekrar Eden ve İstenmeyen Kalıpları Temizleme ---
+        # Modelin ürettiği alakasız diyalog kalıplarını temizle
         irrelevant_dialogue_patterns = [
-            re.escape("Nasılsın, iyi misin \" diye sordu Sesin oldukça tizdi, hatta neredeyse boğuluyordu Sesi artık iyice boğuklaşmıştı Gözlerindeki donukluk ve akıl almaz kararlılık, Montag'ın aklını karıştırıyordu Ne söyleyeceğini bilemiyormuş gibiydi"),
-            re.escape("Ne düşünüyorsun ', sorusuna, — İyi değil miyim (Tıslayarak) Hayır, kötü değil miyim diyerek cevabı yapıştırdı"),
-            re.escape("kitaplar neden yasaklanmalı"), 
-            re.escape("Bu soruda ne kadar samimi olduğumu bilmiyorum "), 
-            re.escape("diyor Bunu söyleyen kişi siz misiniz yoksa o mu Tuhaf bir insan gibi görünüyordu Sanki Montag'dan önce hiç kimse cevap vermemiş gibiydi Bana sanki sadece bir şaka yapıyordu ve gülüp eğleniyorduk ✅"),
-            re.escape("'Kitabı yakamazsınız, eğer yaktığınız kanıtlanırsa, kitabı yakmayı bırakırsınız ' Ben bunun için bir sebep yok diyorum Ve sonra, bana, 'Neden ' diye soruyorsunuz — çünkü'sadece' demek istiyorum Neden olmasın ki Bu sorunun bir cevabı var 📚 ✅"),
-                        
-            r'içir unidur', r'aligutat fakdam', r'tetal inlay', r'pessotim elgun',            
-            r'nisman tarejoglu', r'faksom', r'achisteloy vandleradia', r'vęudis',
-            r'eltareh', r'eldlar', r'fotjid', r'zuhalibalyon',
-            r'ne zaman kendimi, her şeyi daha iyi anlayabileceğim, daha gerçekleştirebileceğim ve her şeyin üstesinden geleceğim bir yere koysam, daha sonra o yerin bana hiçbir şey öğretmediğini ve hiçbir şeyi öğretmediğini fark ediyorum. Ben kendimi daha fazla kandırmak istemiyorum. Ama ben, beni gerçekten etkileyen başka biri tarafından yönetilen bir.',
-            r'her şeyi en ince ayrıntısına kadar anladım ama aynı zamanda da inanılmaz derecede utanıyorum. İnan bana, ben çok utangaçım.',
-                        
-            r' ✅',            
-            r' 📚',        
+            r'O, şu anda ne yapıyor\?', r'O, "Bu, bu" diye cevap verdi\.',
+            r'o, "Benim ne yaptığımı biliyor musun\?" diye sordu\.', r'Sen, "Bilmiyorum, ben… bilmiyorum" dedin\.',
+            r'Neden\?" dedi Montag\.', r'"Çünkü, sadece bir kimseyim\." - Bu bir soru değil\.',
+            r'Montag, "([^"]*)" dedi\.', # Genel olarak Montag bir şey dediği kalıplar
+            r'Bir: Bir.', r'İki: İki.', # Sayı sayma kalıpları
+            r'ne zaman kendimi, her şeyi daha iyi anlayabileceğim, daha gerçekleştirebileceğim ve her şeyin üstesinden geleceğim bir yere koysam, daha sonra o yerin bana hiçbir şey öğretmediğini ve hiçbir şeyi öğretmediğini fark ediyorum. Ben kendimi daha fazla kandırmak istemiyorum. Ama ben, beni gerçekten etkileyen başka biri tarafından yönetilen bir.', # Tekrarlayan uzun ve alakasız metin
+            r'her şeyi en ince ayrıntısına kadar anladım ama aynı zamanda da inanılmaz derecede utanıyorum. İnan bana, ben çok utangaçım.' # Tekrarlayan utangaçlık metni
         ]
-                
         for pattern in irrelevant_dialogue_patterns:
             response = re.sub(pattern, '', response, flags=re.IGNORECASE).strip()
-        
+
+        # Fazla boşlukları tek boşluğa indirge
         response = re.sub(r'\s+', ' ', response).strip()
 
-        # --- ADIM 5: Filtreleme Mantığı (Puanlama Sistemi) ---        
-        rejection_score = 0
-        filter_reasons = []
 
-        if len(response.split()) < 5:
-            rejection_score += 2 
-            filter_reasons.append(f"Çok kısa ({len(response.split())} kelime).")
-                        
-        if not any(char.isalpha() for char in response):
-            rejection_score += 10 
-            filter_reasons.append("Hiç harf içermiyor (sadece noktalama/sayı).")
-                        
-        triggered_generic_phrases = [phrase for phrase in generic_or_nonsense_phrases if phrase in response.lower()]
-        if triggered_generic_phrases:
-            rejection_score += len(triggered_generic_phrases) * 3 
-            filter_reasons.append(f"Anlamsız/istenmeyen ifade tespit edildi: {triggered_generic_phrases}.")
+        # Agresif veya hakaret içeren kelimeleri kontrol et
+        aggressive_words = ["aptal", "salak", "gerizekalı", "saçma", "bilmiyorsun", "yanlışsın", "boş konuşma", "kaba", "agresif", "aptal gibi"]
+        if any(word in response.lower() for word in aggressive_words):
+            print(f"DEBUG: FİLTRELEME - Agresif kelime tespit edildi: '{response}'.")
+            return generate_alternative_response(question), retrieved_docs # Alternatif ve boş docs dön
 
-        has_montag_relevance = any(keyword in response.lower() for keyword in montag_keywords)
-                        
-        if len(response.split()) > 20 and not has_montag_relevance: 
-            rejection_score += 1 
-            filter_reasons.append("Montag/bağlamsal anahtar kelime yok ve cevap uzun.")
-                        
-        aggressive_words_found = [word for word in aggressive_words if word in response.lower()]
-        if aggressive_words_found:
-            rejection_score += 5 
-            filter_reasons.append(f"Agresif/istenmeyen kelime tespit edildi: {aggressive_words_found}.")
-                        
-        if rejection_score >= 5: 
-            print(f"DEBUG: FİLTRELEME - Cevap YETERSİZ/ANLAMSIZ/ALAKASIZ. Toplam Puan: {rejection_score}")
-            for reason in filter_reasons:
-                print(f"  - Sebep: {reason}")
-            print(f"INFO: Üretilen cevap ('{response}') filtreleri geçemedi. Alternatif üretiliyor.")
-            return generate_alternative_response(question), retrieved_docs 
-                
         # Cümle Bölme ve Limitleme Mantığı
         sentences = []
-        split_by_punctuation = re.split(r'[.!?]', response)
+        # Noktalama işaretlerine göre böl ve maksimum cümle sayısını uygula
+        split_by_punctuation = response.replace('!', '.').replace('?', '.').split('.')
         for s in split_by_punctuation:
             s_stripped = s.strip()
             if s_stripped:
                 sentences.append(s_stripped)
-                if len(sentences) >= 6: 
+                if len(sentences) >= 6: # Maksimum 6 cümle
                     break
-        final_response_text = ' '.join(sentences).strip()
-                
-        if not final_response_text: 
-            print("INFO: Filtrelerden geçen cevap boş kaldı. Alternatif üretiliyor.")
-            return generate_alternative_response(question), retrieved_docs
-                
-        final_response = add_emojis(final_response_text)
-        return final_response, retrieved_docs 
         
-    except Exception as e: # Try bloğunun sonu ve hata yakalama
+        final_response_text = ' '.join(sentences).strip() # Sadece ilk 6 cümleyi al
+
+        # Anlamsız veya kısa cevap kontrolü
+        generic_or_nonsense_phrases = [
+            "bilmiyorum", "emin değilim", "cevap veremem", "anlamadım",
+            "tekrar eder misin", "bunu hiç düşünmemiştim", "düşünmem gerekiyor",
+            "evet.", "hayır.", "belki.",
+            "içir unidur", "aligutat fakdam", "tetal inlay", "pessotim elgun",
+            "nisman tarejoglu", "faksom", "achisteloy vandleradia", "vęudis",
+            "eltareh", "eldlar", "fotjid", "zuhalibalyon",
+            "yok", "var", "öyle mi", "değil mi", "bu bir soru mu",
+            "etiketler:",
+            "bir kimseyim", "bu bir soru değil", "o, şu anda ne yapıyor",
+            "bu, bu", "benim ne yaptığımı biliyor musun", "inanılmaz derecede utanıyorum",
+            "inan bana", "kandırmak istemiyorum", "tarafından yönetilen bir"
+        ]
+
+        # Montag'ın karakteriyle ilgili anahtar kelimelerin eksik olup olmadığını kontrol et
+        montag_keywords = ["kitap", "yakmak", "itfaiyeci", "clarisse", "faber", "beatty", "bilgi", "sansür", "düşünce", "gerçek", "televizyon", "alev", "kül", "mildred", "yangın"]
+        has_montag_relevance = any(keyword in final_response_text.lower() for keyword in montag_keywords)
+
+        # Kontrolleri birleştir
+        if (len(final_response_text.split()) < 10) or \
+           not any(char.isalpha() for char in final_response_text) or \
+           any(phrase in final_response_text.lower() for phrase in generic_or_nonsense_phrases) or \
+           not has_montag_relevance: # Montag anahtar kelimesi yoksa alternatif dön
+            
+            print(f"DEBUG: FİLTRELEME - Cevap YETERSİZ/ANLAMSIZ/ALAKASIZ.")
+            if len(final_response_text.split()) < 10:
+                print(f"  - Sebep: Çok kısa ({len(final_response_text.split())} kelime).")
+            if not any(char.isalpha() for char in final_response_text):
+                print(f"  - Sebep: Hiç harf içermiyor.")
+            if any(phrase in final_response_text.lower() for phrase in generic_or_nonsense_phrases):
+                triggered_phrase = [phrase for phrase in generic_or_nonsense_phrases if phrase in final_response_text.lower()]
+                print(f"  - Sebep: Genel/Anlamsız ifade tespit edildi: {triggered_phrase}.")
+            if not has_montag_relevance:
+                print(f"  - Sebep: Montag anahtar kelimesi yok.")
+
+            print(f"INFO: Üretilen cevap ('{final_response_text}') filtreleri geçemedi. Alternatif üretiliyor.")
+            return generate_alternative_response(question), retrieved_docs # Alternatif ve boş docs dön
+
+        final_response = add_emojis(final_response_text)
+        return final_response, retrieved_docs # Cevap ve alınan dokümanları döndür
+
+    except Exception as e:
         print(f"Error generating answer: {e}")
-        return generate_alternative_response(question), [] 
-      
+        return generate_alternative_response(question), [] # Hata durumunda alternatif ve boş docs dön
+
 
 
-# === Gradio callback fonksiyonları ===
+
+# === Gradio arayüzü ===
 def respond(msg: str, chatbot_history: List[List[str]], progress=gr.Progress()) -> Tuple[str, List[List[str]], str, str]:
     if not msg.strip():
         return "", chatbot_history, "Lütfen bir soru yazın.", "---"
@@ -816,12 +793,12 @@ def respond(msg: str, chatbot_history: List[List[str]], progress=gr.Progress())
         for i in range(10): 
             current_progress_percent = start_percent + (end_percent - start_percent) * (i / 9)
             elapsed_time = time.time() - start_time_overall
-                        
+                            
             if is_first_real_user_question:
                 stopwatch_text = f"İlk Cevap: {elapsed_time:.2f}s / {MAX_EXPECTED_TIME:.0f}s"
             else:
                 stopwatch_text = f"Geçen Süre: {elapsed_time:.2f}s"
-                        
+                            
             yield gr.update(value=""), new_history, f"{desc} %{int(current_progress_percent*100)}", stopwatch_text
             time.sleep(MAX_EXPECTED_TIME / (len(progress_steps) * 10 * 2)) 
     
@@ -836,9 +813,6 @@ def respond(msg: str, chatbot_history: List[List[str]], progress=gr.Progress())
     else:
         new_history.append([msg, answer])
     
-    # RL Agent'a deneyimi kaydet (liked parametresi feedback_callback'te verilecek)
-    # Burada direkt kaydetmiyoruz, feedback_callback'te kaydediyoruz.
-
     yield gr.update(value=""), new_history, f"Cevap {response_time} saniyede üretildi. ✅", f"{response_time:.2f}s"
 
 def regenerate_answer(chatbot_history: List[List[str]], progress=gr.Progress()) -> Tuple[str, List[List[str]], str, str]:
@@ -847,8 +821,13 @@ def regenerate_answer(chatbot_history: List[List[str]], progress=gr.Progress())
     
     # Son gerçek kullanıcı sorusunu bul
     last_user_question = None
+    # Geriye doğru dönerken, "Montag düşünüyor..." gibi durum mesajlarını atla
+    # Ayrıca, regenerate_answer'dan hemen önce basılan dislike nedeniyle 
+    # son item'da "Montag düşünüyor..." olabilir.
+    # Bu yüzden, son tamamlanmış kullanıcı sorusunu arıyoruz.
     for i in range(len(chatbot_history) - 1, -1, -1):
-        user_msg, _ = chatbot_history[i]
+        user_msg, bot_msg = chatbot_history[i]
+        # Eğer bu bir kullanıcı mesajıysa ve daha önce bir cevap üretilmişse
         if user_msg is not None and not (("Montag düşünüyor..." in user_msg) or ("saniyede ��retildi" in user_msg)):
             last_user_question = user_msg
             break
@@ -856,40 +835,59 @@ def regenerate_answer(chatbot_history: List[List[str]], progress=gr.Progress())
     if not last_user_question:
         return "", chatbot_history, "Yeniden üretilecek bir soru bulunamadı.", "---"
 
-    # Geçmişten son cevabı kaldır (eğer varsa)
-    cleaned_history = [pair for pair in chatbot_history if pair[0] != last_user_question or pair[1] is not None]
-    if cleaned_history and cleaned_history[-1][0] == last_user_question and cleaned_history[-1][1] is not None:
-        cleaned_history.pop() # Son cevabı kaldır
-
-    temp_chatbot_history_for_gen = [list(pair) for pair in cleaned_history]
+    # Geçmişten son cevabı kaldır (eğer varsa ve bu cevap beğenilmeyip yenisi isteniyorsa)
+    # Burada dikkat: chatbot_history'nin son elemanı beğenilmeyen cevap olabilir.
+    # Bu durumda o elemanı doğrudan modifiye edebiliriz.
     
+    # Yeni bir liste oluşturarak eski cevabı çıkartıp, yeniden üretilen cevabı eklemek daha temiz olabilir.
+    temp_chatbot_history_for_gen = [list(pair) for pair in chatbot_history if pair[0] != last_user_question or pair[1] is not None]
+    
+    # Eğer son eleman beğenilmeyen cevap ise, onu çıkartıyoruz ki generate_answer'a tekrar gitmesin.
+    # regenerate_answer'a gelen chat_history zaten feedback_callback tarafından işlenmiş,
+    # ve kullanıcıya gösterilen son hali oluyor. Bu yüzden, son bot cevabını silmek yerine,
+    # o soruyu ve eski cevabı history'den çıkarıp yeni cevabı ekleyebiliriz.
+    # Basitçe, son kullanıcı sorusunu yeniden cevaplıyorsak, önceki cevabı yok sayarız.
+    
+    # Son kullanıcı sorusunu içeren kısmı geçmişten çıkar, yenisini ekleyeceğiz.
+    # Ancak Gradio yield ile güncelleyeceğimiz için, son kullanıcı sorusu haricindeki geçmişi generate_answer'a verelim.
+    
+    # Sohbet geçmişinden son kullanıcı-bot çiftini ayırın (eğer varsa)
+    history_without_last_qa = [list(pair) for pair in chatbot_history]
+    if history_without_last_qa and history_without_last_qa[-1][0] == last_user_question:
+        # Son kullanıcı sorusunu ve cevabını (eğer varsa) çıkar
+        history_without_last_qa.pop()
+
+
     start_time_overall = time.time()
     initial_stopwatch_text = f"Geçen Süre: 0.00s"
     progress_prefix = "Montag yeni bir cevap düşünüyor... "
-    yield "", temp_chatbot_history_for_gen + [[last_user_question, None]], f"{progress_prefix}%0", initial_stopwatch_text
+    # Kullanıcıya bir "düşünüyor" mesajı göster
+    yield "", history_without_last_qa + [[last_user_question, "Montag düşünüyor... 🤔"]], f"{progress_prefix}%0", initial_stopwatch_text
     
-   
     progress_steps = [
         (f"{progress_prefix}🔄", 0.0, 0.3), 
         (f"{progress_prefix}🧠", 0.3, 0.6),
         (f"{progress_prefix}📚", 0.6, 0.9),
     ]
-    for desc, start_percent, end_percent in progress_steps: # <<< BURADA DÜZELTME YAPILDI
+    for desc, start_percent, end_percent in progress_steps: # HATA BURADAYDI! start_percent ve end_percent tanımı ekledik.
         for i in range(10):
             current_progress_percent = start_percent + (end_percent - start_percent) * (i / 9)
             elapsed_time = time.time() - start_time_overall
-                    
+                        
             stopwatch_text = f"Geçen Süre: {elapsed_time:.2f}s"
-            yield "", temp_chatbot_history_for_gen + [[last_user_question, None]], f"{desc} %{int(current_progress_percent*100)}", stopwatch_text 
+                        
+            yield "", history_without_last_qa + [[last_user_question, "Montag düşünüyor... 🤔"]], f"{desc} %{int(current_progress_percent*100)}", stopwatch_text 
             time.sleep(MAX_EXPECTED_TIME / (len(progress_steps) * 10 * 2)) 
     
-    new_answer, _ = generate_answer(last_user_question, temp_chatbot_history_for_gen) # retrieve_docs burada kullanılmıyor
+    new_raw_answer, _ = generate_answer(last_user_question, history_without_last_qa)
+    new_final_answer = add_emojis(new_raw_answer)
     end_time = time.time()
     response_time = round(end_time - start_time_overall, 2)
 
-    temp_chatbot_history_for_gen.append([last_user_question, new_answer])
+    # Yeni cevabı sohbet geçmişine ekle (eski cevabın yerine)
+    final_history = history_without_last_qa + [[last_user_question, f"{new_final_answer}\n(yaklaşık {response_time:.2f} saniyede üretildi)"]]
     
-    yield "", temp_chatbot_history_for_gen, f"Yeni cevap {response_time} saniyede üretildi. ✅", f"{response_time:.2f}s"
+    yield "", final_history, f"Yeni cevap {response_time} saniyede üretildi. ✅", f"{response_time:.2f}s"
 
 def feedback_callback(chatbot_history: List[List[str]], liked: bool) -> str:
     if not chatbot_history:
@@ -899,37 +897,35 @@ def feedback_callback(chatbot_history: List[List[str]], liked: bool) -> str:
     last_assistant_answer = None
 
     # Sondan başlayarak gerçek kullanıcı sorusunu ve bot cevabını bul
-    # Geriye doğru dönerken, "Montag düşünüyor..." gibi durum mesajlarını atla
+    # Eğer en son girdi sadece kullanıcı sorusu ise veya Montag düşünüyor ise, bir önceki tam Q&A'yı ararız
     for i in range(len(chatbot_history) - 1, -1, -1):
-        # Eğer bu bir bot cevabı ve önceki mesaj bir kullanıcı sorusuysa
-        if chatbot_history[i][1] is not None and not ("Montag düşünüyor..." in chatbot_history[i][1] or "saniyede üretildi" in chatbot_history[i][1]):
-            # Önceki mesajın kullanıcı sorusu olduğundan emin ol
-            if chatbot_history[i][0] is not None and not ("Montag düşünüyor..." in chatbot_history[i][0] or "saniyede üretildi" in chatbot_history[i][0]):
-                last_user_question = chatbot_history[i][0]
-                last_assistant_answer = chatbot_history[i][1]
-                break
-            # Eğer son eleman sadece cevapsız bir kullanıcı sorusuysa ve bir önceki cevabı kaydetmek istiyorsak
-            elif i > 0 and chatbot_history[i-1][0] is not None and not ("Montag düşünüyor..." in chatbot_history[i-1][0] or "saniyede üretildi" in chatbot_history[i-1][0]) \
-                     and chatbot_history[i-1][1] is not None and not ("Montag düşünüyor..." in chatbot_history[i-1][1] or "saniyede üretildi" in chatbot_history[i-1][1]):
-                last_user_question = chatbot_history[i-1][0]
-                last_assistant_answer = chatbot_history[i-1][1]
-                break
+        current_pair = chatbot_history[i]
+        if current_pair[0] is not None and current_pair[1] is not None and \
+           not (("Montag düşünüyor..." in current_pair[0]) or ("saniyede üretildi" in current_pair[0])) and \
+           not (("Montag düşünüyor..." in current_pair[1]) or ("saniyede üretildi" in current_pair[1])):
+            last_user_question = current_pair[0]
+            last_assistant_answer = current_pair[1]
+            break
 
     if last_user_question and last_assistant_answer:
-        # feedback.jsonl'a kaydet (RL Agent için de kullanılacak)
-        save_feedback(last_user_question, last_assistant_answer, liked, FEEDBACK_FILE)
+        # "saniyede üretildi" ve emoji kısımlarını temizle
+        cleaned_assistant_answer = re.sub(r'\(yaklaşık \d+\.\d{2} saniyede üretildi\)', '', last_assistant_answer).strip()
+        cleaned_assistant_answer = cleaned_assistant_answer.replace('📚', '').replace('🧠', '').replace('🔥', '').strip()
+        
+        cleaned_user_question = last_user_question.replace('📚', '').replace('🧠', '').replace('🔥', '').strip()
+
+        save_feedback(cleaned_user_question, cleaned_assistant_answer, liked, FEEDBACK_FILE)
 
         # RL Agent'a deneyimi kaydet
-        # Emojileri temizleyerek gönderiyoruz
         rl_agent.record_experience(
-            last_user_question.replace('📚', '').replace('🧠', '').replace('🔥', '').strip(),
-            last_assistant_answer.replace('📚', '').replace('🧠', '').replace('🔥', '').strip(),
-            liked # Doğrudan liked parametresini iletiyoruz
+            cleaned_user_question,
+            cleaned_assistant_answer,
+            liked
         )
 
         # Eğer beğenildiyse, LoRA fine-tuning için QA_PATH'e de ekle
         if liked:
-            qa_pair = {"question": last_user_question, "answer": last_assistant_answer, "liked": True}
+            qa_pair = {"question": cleaned_user_question, "answer": cleaned_assistant_answer, "liked": True}
             try:
                 with open(QA_PATH, "a", encoding="utf-8") as f:
                     f.write(json.dumps(qa_pair, ensure_ascii=False) + "\n")
@@ -940,55 +936,14 @@ def feedback_callback(chatbot_history: List[List[str]], liked: bool) -> str:
             if count_qa_examples(QA_PATH) % 10 == 0: # Her 10 yeni beğenilen örnekte bir fine-tune yap
                 print("👍 Yeterli sayıda yeni beğeni var, LoRA fine-tuning başlatılıyor...")
                 lora_finetune(QA_PATH, LOR_MODEL_PATH)
-                # Model yeniden yüklenebilir veya PEFT adaptörü apply edilebilir.
-                # initialize_components() çağrısı ile global model güncelleniyor.
                 return "Geri bildiriminiz kaydedildi ve model eğitimi tetiklendi. Teşekkürler! 👍"
-
-
-        return "Geri bildiriminiz kaydedildi. Teşekkürler! ✅"
+            else:
+                return "Geri bildiriminiz kaydedildi. Teşekkürler! ✅"
+        else:
+            return "Geri bildiriminiz kaydedildi. Montag daha iyi olmaya çalışacak. ❌"
     return "Geri bildirim kaydedilemedi. Geçmişte yeterli sohbet bulunmuyor. ❌"
 
 # === Gradio arayüzü ===
-
-# --- GRADIO İÇİN YENİ CEVAP ÜRETME FONKSİYONU ---
-def regenerate_answer(chat_history: list):
-    if not chat_history:
-        return "", [], "Sohbet geçmişi boş, yeni bir cevap üretilemedi.", f"Hazır. İlk cevap için tahmini süre: {MAX_EXPECTED_TIME:.0f}s"
-
-    # Sohbet geçmişindeki son kullanıcı sorusunu al
-    last_user_question = chat_history[-1][0] # Son konuşmanın kullanıcı mesajı
-    if last_user_question is None: # Hata durumunda boş döndür
-        return "", chat_history, "Yeni cevap üretilemedi: Son soru bulunamadı.", f"Hazır. İlk cevap için tahmini süre: {MAX_EXPECTED_TIME:.0f}s"
-
-    # Montag'ın düşündüğünü gösteren bir mesaj
-    current_chat_history = chat_history.copy()
-    current_chat_history[-1][1] = "Montag düşünüyor... 🤔" # En son bot cevabını geçici olarak değiştir
-    yield gr.update(value=""), current_chat_history, "Montag yeni bir cevap üzerinde düşünüyor...", gr.update(value="Cevap üretiliyor...")
-
-    start_time = time.time()
-    # generate_answer fonksiyonunu çağırarak yeni bir cevap üret
-    # chat_history'nin son elemanı zaten "Montag düşünüyor..." olduğu için,
-    # generate_answer'a geçmişin bu hali gönderilirse sorun olmaz.
-    # Önemli olan, generate_answer'ın içinde kullanıcının son sorusunun doğru şekilde alınmasıdır.
-    # Bu durumda `last_user_question` doğrudan kullanılabilir.
-    new_raw_answer, _ = generate_answer(last_user_question, chat_history[:-1]) # Önceki cevabı hariç tutarak gönder
-
-    new_final_answer = add_emojis(new_raw_answer)
-    end_time = time.time()
-    response_time = end_time - start_time
-    new_time_taken_message = f"(yaklaşık {response_time:.2f} saniyede üretildi)"
-
-    # Sohbet geçmişindeki en son bot cevabını bu yeni cevapla güncelle
-    # NOT: Bu, beğenilmeyen cevabın yerine geçer. Eğer ikisini de görmek isterseniz,
-    # yeni bir [kullanıcı_sorusu, yeni_cevap] çifti eklemeniz gerekir.
-    # Ancak "dislike"ın amacı eskiyi beğenmeyip yenisini istemek olduğu için yerine koymak daha mantıklı.
-    chat_history[-1][1] = f"{new_final_answer}\n{new_time_taken_message}"
-
-    return gr.update(value=""), chat_history, "Yeni cevap üretildi.", f"Cevap {response_time:.2f} saniyede üretildi."
-
-
-
-# --- GRADIO ARAYÜZÜNÜ OLUŞTURAN FONKSİYON ---
 def create_chat_interface():
     with gr.Blocks(theme=gr.themes.Soft(), css=current_css) as demo:
         gr.Markdown("""