Update app.py

app.py

@@ -14,6 +14,9 @@ import numpy as np
 import soundfile as sf
 import subprocess
 import shutil
+import requests
+import logging
+from datetime import datetime, timedelta
 from dataclasses import dataclass
 from typing import List, Tuple, Dict, Optional
 from pathlib import Path
@@ -72,6 +75,9 @@ except:
 
 load_dotenv()
 
+# Brave Search API 설정
+BRAVE_KEY = os.getenv("BSEARCH_API")
+BRAVE_ENDPOINT = "https://api.search.brave.com/res/v1/web/search"
 
 @dataclass
 class ConversationConfig:
@@ -87,6 +93,70 @@ class ConversationConfig:
     max_new_tokens: int = 8000  # 4000에서 8000으로 증가
 
 
+def brave_search(query: str, count: int = 8, freshness_days: int | None = None):
+    """Brave Search API를 사용하여 최신 정보 검색"""
+    if not BRAVE_KEY:
+        return []
+    params = {"q": query, "count": str(count)}
+    if freshness_days:
+        dt_from = (datetime.utcnow() - timedelta(days=freshness_days)).strftime("%Y-%m-%d")
+        params["freshness"] = dt_from
+    try:
+        r = requests.get(
+            BRAVE_ENDPOINT,
+            headers={"Accept": "application/json", "X-Subscription-Token": BRAVE_KEY},
+            params=params,
+            timeout=15
+        )
+        raw = r.json().get("web", {}).get("results") or []
+        return [{
+            "title": r.get("title", ""),
+            "url": r.get("url", r.get("link", "")),
+            "snippet": r.get("description", r.get("text", "")),
+            "host": re.sub(r"https?://(www\.)?", "", r.get("url", "")).split("/")[0]
+        } for r in raw[:count]]
+    except Exception as e:
+        logging.error(f"Brave search error: {e}")
+        return []
+
+
+def format_search_results(query: str) -> str:
+    """검색 결과를 포맷팅하여 반환"""
+    rows = brave_search(query, 6, freshness_days=3)
+    if not rows:
+        return f"# [Web-Search] No live results for "{query}".\n"
+    hdr = f"# [Web-Search] Top results for "{query}" (last 3 days)\n\n"
+    body = "\n".join(
+        f"- **{r['title']}** ({r['host']})\n  {r['snippet']}\n  [link]({r['url']})"
+        for r in rows
+    )
+    return hdr + body + "\n"
+
+
+def extract_keywords_for_search(text: str, language: str = "English") -> List[str]:
+    """텍스트에서 검색할 키워드 추출"""
+    # 간단한 키워드 추출 (실제로는 더 정교한 방법 사용 가능)
+    lines = text.split('\n')[:5]  # 첫 5줄에서 키워드 추출
+    text_sample = ' '.join(lines)
+    
+    # 언어별 중요 키워드 패턴
+    if language == "Korean":
+        # 한국어 키워드 패턴 (명사형 단어들)
+        import re
+        keywords = re.findall(r'[가-힣]{2,}', text_sample)
+        # 중복 제거 및 상위 3개 선택
+        unique_keywords = list(dict.fromkeys(keywords))[:3]
+    else:
+        # 영어 키워드 패턴
+        words = text_sample.split()
+        # 길이 3 이상, 대문자로 시작하는 단어들 우선
+        keywords = [word.strip('.,!?;:') for word in words 
+                   if len(word) > 3 and (word[0].isupper() or word.isupper())]
+        unique_keywords = list(dict.fromkeys(keywords))[:3]
+    
+    return unique_keywords
+
+
 class UnifiedAudioConverter:
     def __init__(self, config: ConversationConfig):
         self.config = config
@@ -238,10 +308,10 @@ class UnifiedAudioConverter:
         else:
             return MessagesFormatterType.LLAMA_3
 
-    def _build_prompt(self, text: str, language: str = "English") -> str:
-        """Build prompt for conversation generation"""
+    def _build_prompt(self, text: str, language: str = "English", search_context: str = "") -> str:
+        """Build prompt for conversation generation with search context"""
         if language == "Korean":
-            # 강화된 한국어 프롬프트
+            # 강화된 한국어 프롬프트 (존댓말 강화 및 한국적 특성 반영)
             template = """
             {
                 "conversation": [
@@ -252,22 +322,41 @@ class UnifiedAudioConverter:
                 ]
             }
             """
-            return (
-                f"{text}\n\n"
+            
+            base_prompt = (
+                f"# 원본 콘텐츠:\n{text}\n\n"
+                f"# 최신 관련 정보:\n{search_context}\n\n" if search_context else f"# 원본 콘텐츠:\n{text}\n\n"
                 f"위 내용을 바탕으로 30대 한국인 두 명이 진행하는 자연스럽고 흥미로운 한국어 팟캐스트 대화를 만들어주세요.\n\n"
-                f"필수 지침:\n"
-                f"1. 준수(진행자): 친근하고 호기심 많은 성격, 청취자의 궁금증을 대변\n"
-                f"2. 민호(전문가): 해당 주제에 대한 깊은 지식을 가진 전문가, 쉽게 설명하는 능력\n"
-                f"3. 한국인이 실제로 사용하는 자연스러운 표현과 감탄사 사용 ('아~', '그렇구나', '와~', '진짜요?')\n"
-                f"4. 적절한 존댓말과 편안한 반말을 섞어 친밀감 조성\n"
-                f"5. 한국 문화와 일상에 맞는 구체적인 예시와 비유 사용\n"
-                f"6. 각 대화는 충분히 길고 상세하게 (최소 3-4문장 이상)\n"
-                f"7. 전체 대화는 최소 10회 이상의 주고받기로 구성\n"
-                f"8. 청취자가 '나도 궁금했던 내용이야'라고 공감할 수 있는 질문 포함\n"
-                f"9. 핵심 정보를 자연스럽게 전달하면서도 지루하지 않게 구성\n"
-                f"10. 마무리는 핵심 내용 요약과 청취자에게 도움이 되는 실용적 조언\n\n"
+                f"## 필수 지침:\n\n"
+                f"### 👥 캐릭터 설정:\n"
+                f"- **준수(진행자)**: 친근하고 호기심 많은 성격, 청취자의 궁금증을 대변하는 30대 남성\n"
+                f"- **민호(전문가)**: 해당 주제에 대한 깊은 지식을 가진 전문가, 쉽게 설명하는 능력을 가진 30대 남성\n\n"
+                f"### 🗣️ 언어 스타일 (중요!):\n"
+                f"- **존댓말 필수**: 두 화자는 서로에게 최소한의 존댓말을 사용해야 합니다 ('~습니다', '~세요', '~거든요')\n"
+                f"- **반말 절대 금지**: '~야', '~다', '~해' 등의 반말은 절대 사용하지 마세요\n"
+                f"- **자연스러운 존댓말**: 딱딱하지 않고 친근한 존댓말 사용 ('그렇군요', '맞으세요', '그런데요')\n"
+                f"- **감탄사 활용**: '아~', '그렇구나요', '와~', '진짜요?', '어머나' 등 자연스러운 반응\n\n"
+                f"### 📝 대화 구성:\n"
+                f"1. **한국 문화 맞춤**: 한국인의 정서와 일상에 맞는 구체적 예시와 비유 사용\n"
+                f"2. **공감대 형성**: '우리나라에서는', '한국 사람들이', '요즘 사람들' 등의 표현으로 친밀감 조성\n"
+                f"3. **충분한 분량**: 각 대화는 최소 3-4문장 이상, 전체 10회 이상 주고받기\n"
+                f"4. **실용적 조언**: 청취자가 실제로 적용할 수 있는 구체적이고 유용한 정보 제공\n"
+                f"5. **최신 정보 반영**: 제공된 최신 관련 정보를 자연스럽게 대화에 포함\n\n"
+                f"### 🎯 팟캐스트 품질:\n"
+                f"- **오프닝**: 따뜻한 인사와 주제 소개\n"
+                f"- **메인**: 핵심 내용을 재미있고 이해하기 쉽게 전달\n"
+                f"- **상호작용**: '청취자 여러분은 어떻게 생각하세요?' 같은 참여 유도\n"
+                f"- **클로징**: 핵심 요약과 실용적 조언으로 마무리\n\n"
+                f"### 💡 한국어 특화 요소:\n"
+                f"- **호칭**: '준수씨', '민호씨' 등 적절한 호칭 사용\n"
+                f"- **관용어구**: 자연스러운 한국어 관용표현 활용\n"
+                f"- **정서적 연결**: 한국인의 '정', '눈치', '체면' 등의 문화적 코드 반영\n"
+                f"- **계절감**: 현재 계절이나 시기적 특성 반영\n\n"
                 f"다음 JSON 형식으로만 반환하세요:\n{template}"
             )
+            
+            return base_prompt
+            
         else:
             template = """
             {
@@ -279,8 +368,10 @@ class UnifiedAudioConverter:
                 ]
             }
             """
-            return (
-                f"{text}\n\n"
+            
+            base_prompt = (
+                f"# Original Content:\n{text}\n\n"
+                f"# Latest Related Information:\n{search_context}\n\n" if search_context else f"# Original Content:\n{text}\n\n"
                 f"Convert the provided text into an engaging, natural podcast conversation between two experts.\n\n"
                 f"Guidelines:\n"
                 f"1. Alex (Host): Curious, engaging personality representing audience questions\n"
@@ -291,37 +382,59 @@ class UnifiedAudioConverter:
                 f"6. Create at least 10 back-and-forth exchanges\n"
                 f"7. Address common questions and misconceptions\n"
                 f"8. Maintain an informative yet entertaining tone\n"
-                f"9. End with key takeaways and practical advice\n\n"
+                f"9. Incorporate the latest related information naturally into the conversation\n"
+                f"10. End with key takeaways and practical advice\n\n"
                 f"Return ONLY the JSON in this format:\n{template}"
             )
+            
+            return base_prompt
 
-    def _build_messages_for_local(self, text: str, language: str = "English") -> List[Dict]:
-        """Build messages for local LLM"""
+    def _build_messages_for_local(self, text: str, language: str = "English", search_context: str = "") -> List[Dict]:
+        """Build messages for local LLM with enhanced Korean guidelines"""
         if language == "Korean":
             system_message = (
-                "당신은 한국 최고의 팟캐스트 대본 작가입니다. "
-                "한국��의 정서와 문화를 완벽히 이해하고, 청취자들이 끝까지 집중할 수 있는 "
-                "매력적이고 유익한 대화를 만들어냅니다. "
-                "실제 한국인들이 일상에서 사용하는 자연스러운 표현과 "
-                "적절한 감정 표현을 통해 생동감 있는 대화를 구성합니다."
+                "당신은 한국 최고의 팟캐스트 대본 전문 작가입니다. "
+                "한국인의 정서와 문화를 완벽히 이해하고, 30대 한국인 청취자들이 끝까지 집중할 수 있는 "
+                "매력적이고 유익한 대화를 만들어냅니다.\n\n"
+                "핵심 원칙:\n"
+                "1. 두 화자는 반드시 서로에게 존댓말을 사용합니다 (반말 절대 금지)\n"
+                "2. 한국 문화의 정서적 코드와 가치관을 자연스럽게 반영합니다\n"
+                "3. 실제 한국인들이 일상에서 사용하는 자연스러운 표현을 구사합니다\n"
+                "4. 청취자가 공감하고 실용적으로 활용할 수 있는 내용을 제공합니다\n"
+                "5. 최신 정보와 트렌드를 적절히 반영하여 시의성을 확보합니다\n\n"
+                "당신의 대본은 한국 팟캐스트 시장에서 최고 수준의 품질로 인정받고 있습니다."
             )
         else:
             system_message = (
                 "You are an expert podcast scriptwriter who creates engaging, "
                 "natural conversations that keep listeners hooked. "
                 "You understand how to balance information with entertainment, "
-                "using real conversational patterns and authentic reactions."
+                "using real conversational patterns and authentic reactions. "
+                "You excel at incorporating current information and trends to make content relevant and timely."
             )
         
         return [
             {"role": "system", "content": system_message},
-            {"role": "user", "content": self._build_prompt(text, language)}
+            {"role": "user", "content": self._build_prompt(text, language, search_context)}
         ]
 
     @spaces.GPU(duration=120)
     def extract_conversation_local(self, text: str, language: str = "English", progress=None) -> Dict:
-        """Extract conversation using new local LLM (primary method)"""
+        """Extract conversation using new local LLM with search context"""
         try:
+            # 검색 컨텍스트 생성
+            search_context = ""
+            if BRAVE_KEY:
+                try:
+                    keywords = extract_keywords_for_search(text, language)
+                    if keywords:
+                        # 첫 번째 키워드로 검색
+                        search_query = keywords[0] if language == "Korean" else f"{keywords[0]} latest news"
+                        search_context = format_search_results(search_query)
+                        print(f"Search context added for: {search_query}")
+                except Exception as e:
+                    print(f"Search failed, continuing without context: {e}")
+            
             # 먼저 새로운 로컬 LLM 시도
             self.initialize_local_mode()
             
@@ -334,9 +447,11 @@ class UnifiedAudioConverter:
                     "당신은 한국어 팟캐스트 전문 작가입니다. "
                     "한국 청취자들의 문화적 맥락과 언어적 특성을 완벽히 이해하고, "
                     "자연스럽고 매력적인 대본을 작성합니다. "
+                    "특히 두 화자가 서로에게 존댓말을 사용하는 것이 필수이며, "
+                    "반말은 절대 사용하지 않습니다. "
                     "실제 한국인이 대화하는 것처럼 자연스러운 표현, 적절한 감탄사, "
                     "문화적으로 적합한 예시를 사용하여 청취자가 공감하고 몰입할 수 있는 "
-                    "대화를 만들어주세요. JSON 형식으로만 응답하세요."
+                    "대화를 만들어주세요. 최신 정보도 자연스럽게 반영하세요. JSON 형식으로만 응답하세요."
                 )
             else:
                 system_message = (
@@ -344,6 +459,7 @@ class UnifiedAudioConverter:
                     "engaging, natural conversations that captivate listeners. "
                     "You excel at transforming complex information into accessible, "
                     "entertaining dialogue while maintaining authenticity and educational value. "
+                    "Incorporate current trends and latest information naturally. "
                     "Respond only in JSON format."
                 )
 
@@ -364,7 +480,7 @@ class UnifiedAudioConverter:
 
             messages = BasicChatHistory()
             
-            prompt = self._build_prompt(text, language)
+            prompt = self._build_prompt(text, language, search_context)
             response = agent.get_chat_response(
                 prompt,
                 llm_sampling_settings=settings,
@@ -384,10 +500,10 @@ class UnifiedAudioConverter:
                 
         except Exception as e:
             print(f"Local LLM failed: {e}, falling back to legacy local method")
-            return self.extract_conversation_legacy_local(text, language, progress)
+            return self.extract_conversation_legacy_local(text, language, progress, search_context)
 
     @spaces.GPU(duration=120)
-    def extract_conversation_legacy_local(self, text: str, language: str = "English", progress=None) -> Dict:
+    def extract_conversation_legacy_local(self, text: str, language: str = "English", progress=None, search_context: str = "") -> Dict:
         """Extract conversation using legacy local model (fallback)"""
         try:
             self.initialize_legacy_local_mode()
@@ -397,17 +513,20 @@ class UnifiedAudioConverter:
                 system_message = (
                     "당신은 한국어 팟캐스트 전문 작가입니다. "
                     "30대 한국인 청취자를 대상으로 자연스럽고 흥미로운 대화를 만들어주세요. "
-                    "실제 사용하는 한국어 표현과 문화적 맥락을 반영하여 작성해주세요."
+                    "두 화자는 반드시 서로에게 존댓말을 사용하며, 반말은 절대 사용하지 않습니다. "
+                    "실제 사용하는 한국어 표현과 문화적 맥락을 반영하여 작성해주세요. "
+                    "최신 정보도 자연스럽게 포함시켜주세요."
                 )
             else:
                 system_message = (
                     "You are an expert podcast scriptwriter. "
-                    "Create natural, engaging conversations that inform and entertain listeners."
+                    "Create natural, engaging conversations that inform and entertain listeners. "
+                    "Incorporate current information and trends naturally."
                 )
 
             chat = [
                 {"role": "system", "content": system_message},
-                {"role": "user", "content": self._build_prompt(text, language)}
+                {"role": "user", "content": self._build_prompt(text, language, search_context)}
             ]
 
             terminators = [
@@ -450,14 +569,14 @@ class UnifiedAudioConverter:
                 
         except Exception as e:
             print(f"Legacy local model also failed: {e}")
-            # Return default template with Korean male names
+            # Return default template with Korean male names using formal speech
             if language == "Korean":
                 return {
                     "conversation": [
-                        {"speaker": "준수", "text": "안녕하세요, 여러분! 오늘도 저희 팟캐스트를 찾아주셔서 정말 감사합니다."},
-                        {"speaker": "민호", "text": "안녕하세요! 오늘은 정말 흥미로운 주제를 준비했는데요, 함께 이야기 나눠보시죠."},
-                        {"speaker": "준수", "text": "네, 정말 기대되는데요. 청취자 여러분들도 궁금해하실 것 같아요."},
-                        {"speaker": "민호", "text": "맞아요. 그럼 본격적으로 시작해볼까요?"}
+                        {"speaker": "준수", "text": "안녕하세요, 여러분! 오늘도 저희 팟캐스트를 찾아주셔서 정말 감사합니다. 민호씨, 오늘 정말 흥미로운 주제를 준비해주셨다고 들었어요."},
+                        {"speaker": "민호", "text": "네, 안녕하세요! 준수씨 말씀처럼 오늘은 정말 흥미로운 이야기를 준비했습니다. 청취자 여러분들께서도 많은 관심을 가지고 계실 주제인 것 같아요."},
+                        {"speaker": "준수", "text": "정말 기대되는데요. 그런데 민호씨, 이 주제가 요즘 왜 이렇게 화제가 되고 있는 건가요? 청취자 여러분들도 궁금해하실 것 같아요."},
+                        {"speaker": "민호", "text": "좋은 질문이세요, 준수씨. 사실 최근에 이 분야에 많은 변화가 있었거든요. 그럼 본격적으로 하나씩 차근차근 설명해드릴게요."}
                     ]
                 }
             else:
@@ -471,30 +590,44 @@ class UnifiedAudioConverter:
                 }
 
     def extract_conversation_api(self, text: str, language: str = "English") -> Dict:
-        """Extract conversation using API (fallback method)"""
+        """Extract conversation using API with search context"""
         if not self.llm_client:
             raise RuntimeError("API mode not initialized")
 
         try:
+            # 검색 컨텍스트 생성
+            search_context = ""
+            if BRAVE_KEY:
+                try:
+                    keywords = extract_keywords_for_search(text, language)
+                    if keywords:
+                        search_query = keywords[0] if language == "Korean" else f"{keywords[0]} latest news"
+                        search_context = format_search_results(search_query)
+                        print(f"Search context added for: {search_query}")
+                except Exception as e:
+                    print(f"Search failed, continuing without context: {e}")
+
             # 강화된 언어별 프롬프트 구성
             if language == "Korean":
                 system_message = (
                     "당신은 한국어 팟캐스트 전문 작가입니다. "
                     "한국 청취자들의 문화적 맥락과 언어적 특성을 완벽히 이해하고, "
                     "자연스럽고 매력적인 대본을 작성합니다. "
-                    "준수(진행자)와 민호(전문가)라는 두 명의 30대 남성이 대화하는 형식으로 작성하세요."
+                    "준수(진행자)와 민호(전문가)라는 두 명의 30대 남성이 서로에게 존댓말을 사용하여 대화하는 형식으로 작성하세요. "
+                    "반말은 절대 사용하지 않으며, 최신 정보도 자연스럽게 반영하세요."
                 )
             else:
                 system_message = (
                     "You are an expert podcast scriptwriter who creates engaging, "
                     "natural conversations between Alex (host) and Jordan (expert). "
-                    "Create informative yet entertaining dialogue that keeps listeners engaged."
+                    "Create informative yet entertaining dialogue that keeps listeners engaged. "
+                    "Incorporate current trends and latest information naturally."
                 )
 
             chat_completion = self.llm_client.chat.completions.create(
                 messages=[
                     {"role": "system", "content": system_message},
-                    {"role": "user", "content": self._build_prompt(text, language)}
+                    {"role": "user", "content": self._build_prompt(text, language, search_context)}
                 ],
                 model=self.config.api_model_name,
             )
@@ -905,6 +1038,7 @@ with gr.Blocks(theme='soft', title="URL/PDF to Podcast Converter") as demo:
         - **Fallback**: API LLM ({converter.config.api_model_name}) - Used when local fails
         - **Status**: {"✅ Llama CPP Available" if LLAMA_CPP_AVAILABLE else "❌ Llama CPP Not Available - Install llama-cpp-python"}
         - **Max Tokens**: {converter.config.max_tokens} (Extended for longer conversations)
+        - **Search**: {"✅ Brave Search Enabled" if BRAVE_KEY else "❌ Brave Search Not Available - Set BSEARCH_API"}
         """)
     
     with gr.Row():
@@ -968,7 +1102,8 @@ with gr.Blocks(theme='soft', title="URL/PDF to Podcast Converter") as demo:
                 
                 **한국어 지원:**
                 - 🇰🇷 한국어 선택 시 Edge-TTS만 사용 가능합니다
-                - 👨‍👨 한국어 대화는 준수(진행자)와 민호(전문가) 두 남성이 진행합니다
+                - 👨‍👨 한국어 대화는 준수(진행자)와 민호(전문가) 두 남성이 존댓말로 진행합니다
+                - 🔍 **최신 정보 반영**: Brave Search를 통해 최신 시사 내용을 자동으로 검색하여 대본에 반영합니다
                 """)
     
     convert_btn = gr.Button("🎯 Generate Conversation / 대화 생성", variant="primary", size="lg")
@@ -977,10 +1112,10 @@ with gr.Blocks(theme='soft', title="URL/PDF to Podcast Converter") as demo:
         with gr.Column():
             conversation_output = gr.Textbox(
                 label="Generated Conversation (Editable) / 생성된 대화 (편집 가능)",
-                lines=20,  # 더 긴 대화를 위해 증가
-                max_lines=40,
+                lines=25,  # 더 긴 대화를 위해 증가
+                max_lines=50,
                 interactive=True,
-                placeholder="Generated conversation will appear here. You can edit it before generating audio.\n생성된 대화가 여기에 표시됩니다. 오디오 생성 전에 편집할 수 있습니다.",
+                placeholder="Generated conversation will appear here. You can edit it before generating audio.\n생성된 대화가 여기에 표시됩니다. 오디오 생성 전에 편집할 수 있습니다.\n\n한국어 대화는 존댓말로 진행되며 최신 시사 내용이 반영됩니다.",
                 info="Edit the conversation as needed. Format: 'Speaker Name: Text' / 필요에 따라 대화를 편집하세요. 형식: '화자 이름: 텍스트'"
             )