app.py

import gradio as gr
import pandas as pd
from transformers import pipeline
from huggingface_hub import InferenceClient
import os
import random
import logging
import openai  # OpenAI API를 사용하기 위해 추가

# 로깅 설정
logging.basicConfig(filename='language_model_playground.log', level=logging.DEBUG, 
                    format='%(asctime)s - %(levelname)s - %(message)s')

# 모델 목록
MODELS = {
    "Zephyr 7B Beta": "HuggingFaceH4/zephyr-7b-beta",
    "DeepSeek Coder V2": "deepseek-ai/DeepSeek-Coder-V2-Instruct",
    "Meta Llama 3.1 8B": "meta-llama/Meta-Llama-3.1-8B-Instruct",
    "Meta-Llama 3.1 70B-Instruct": "meta-llama/Meta-Llama-3.1-70B-Instruct",
    "Microsoft": "microsoft/Phi-3-mini-4k-instruct",
    "Mixtral 8x7B": "mistralai/Mistral-7B-Instruct-v0.3",
    "Mixtral Nous-Hermes": "NousResearch/Nous-Hermes-2-Mixtral-8x7B-DPO",
    "Cohere Command R+": "CohereForAI/c4ai-command-r-plus",
    "Aya-23-35B": "CohereForAI/aya-23-35B",
    "GPT-4o Mini": "gpt-4o-mini"  # GPT-4o Mini 모델 추가
}

# HuggingFace 토큰 설정
hf_token = os.getenv("HF_TOKEN")
if not hf_token:
    raise ValueError("HF_TOKEN 환경 변수가 설정되지 않았습니다.")

# OpenAI API 클라이언트 설정
openai.api_key = os.getenv("OPENAI_API_KEY")

def call_hf_api(prompt, reference_text, max_tokens, temperature, top_p, model):
    if model == "gpt-4o-mini":
        return call_openai_api(prompt, max_tokens, temperature, top_p)
    
    client = InferenceClient(model=model, token=hf_token)
    combined_prompt = f"{prompt}\n\n참고 텍스트:\n{reference_text}"
    random_seed = random.randint(0, 1000000)
    
    try:
        response = client.text_generation(
            combined_prompt,
            max_new_tokens=max_tokens,
            temperature=temperature,
            top_p=top_p,
            seed=random_seed
        )
        return response
    except Exception as e:
        logging.error(f"HuggingFace API 호출 중 오류 발생: {str(e)}")
        return f"응답 생성 중 오류 발생: {str(e)}. 나중에 다시 시도해 주세요."

def call_openai_api(prompt, max_tokens, temperature, top_p):
    try:
        response = openai.ChatCompletion.create(
            model="gpt-4o-mini",
            messages=[
                {"role": "user", "content": prompt},
            ],
            max_tokens=max_tokens,
            temperature=temperature,
            top_p=top_p,
        )
        return response.choices[0].message['content']
    except Exception as e:
        logging.error(f"OpenAI API 호출 중 오류 발생: {str(e)}")
        return f"OpenAI 응답 생성 중 오류 발생: {str(e)}. 나중에 다시 시도해 주세요."

def generate_response(prompt, reference_text, max_tokens, temperature, top_p, model):
    response = call_hf_api(prompt, reference_text, max_tokens, temperature, top_p, MODELS[model])
    response_html = f"""
    <h3>생성된 응답:</h3>
    <div style='max-height: 500px; overflow-y: auto; white-space: pre-wrap; word-wrap: break-word;'>
    {response}
    </div>
    """
    return response_html

# 리뷰 파일 처리 함수
def process_reviews(file):
    df = pd.read_excel(file.name)
    
    if 'review' not in df.columns:
        return "리뷰 파일에 'review' 열이 없습니다. 올바른 파일을 업로드하세요."

    sentiment_analyzer = pipeline("sentiment-analysis")
    reviews = df['review'].tolist()

    # 감성 분석 수행
    sentiments = sentiment_analyzer(reviews)

    # 긍정 및 부정 리뷰 필터링
    positive_reviews = [r['review'] for r, s in zip(reviews, sentiments) if s['label'] == 'POSITIVE'][:10]
    negative_reviews = [r['review'] for r, s in zip(reviews, sentiments) if s['label'] == 'NEGATIVE'][:10]

    # 분석 결과 요약
    total_reviews = len(reviews)
    positive_count = len([s for s in sentiments if s['label'] == 'POSITIVE'])
    negative_count = len([s for s in sentiments if s['label'] == 'NEGATIVE'])
    analysis_summary = f"총 리뷰 수: {total_reviews}, 긍정 리뷰 수: {positive_count}, 부정 리뷰 수: {negative_count}"

    return "\n".join(positive_reviews), "\n".join(negative_reviews), analysis_summary

# Gradio 인터페이스 설정
with gr.Blocks() as demo:
    gr.Markdown("## 언어 모델 프롬프트 플레이그라운드")

    with gr.Column():
        model_radio = gr.Radio(choices=list(MODELS.keys()), value="Zephyr 7B Beta", label="언어 모델 선택")
        prompt_input = gr.Textbox(label="프롬프트 입력", lines=5)
        reference_text_input = gr.Textbox(label="참고 텍스트 입력", lines=5)
        
        with gr.Row():
            max_tokens_slider = gr.Slider(minimum=0, maximum=5000, value=2000, step=100, label="최대 토큰 수")
            temperature_slider = gr.Slider(minimum=0, maximum=1, value=0.75, step=0.05, label="온도")
            top_p_slider = gr.Slider(minimum=0, maximum=1, value=0.95, step=0.05, label="Top P")
        
        generate_button = gr.Button("응답 생성")
        response_output = gr.HTML(label="생성된 응답")

    # 리뷰 파일 업로드 메뉴 추가
    file_input = gr.File(label="리뷰 엑셀 파일 업로드")
    positive_reviews_output = gr.Textbox(label="대표 긍정 리뷰 10개", lines=10, interactive=False)
    negative_reviews_output = gr.Textbox(label="대표 부정 리뷰 10개", lines=10, interactive=False)
    analysis_output = gr.Textbox(label="분석 결과", interactive=False)

    # 리뷰 파일 처리 버튼
    file_input.change(
        process_reviews,
        inputs=file_input,
        outputs=[positive_reviews_output, negative_reviews_output, analysis_output]
    )

    # 버튼 클릭 시 응답 생성
    generate_button.click(
        generate_response,
        inputs=[prompt_input, reference_text_input, max_tokens_slider, temperature_slider, top_p_slider, model_radio],
        outputs=response_output
    )

# 인터페이스 실행
demo.launch(share=True)