chore: Update requirements.txt and add pyproject.toml file with project dependencies

law-bot.ipynb

@@ -0,0 +1,342 @@
+{
+ "cells": [
+  {
+   "cell_type": "code",
+   "execution_count": 25,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "import pickle, os, numpy as np\n",
+    "from tqdm import tqdm\n",
+    "from langchain.schema import Document\n",
+    "from langchain.vectorstores import FAISS\n",
+    "from langchain.schema import Document\n",
+    "from langchain_community.embeddings import HuggingFaceBgeEmbeddings\n",
+    "from langchain.text_splitter import RecursiveCharacterTextSplitter\n",
+    "from langchain_community.retrievers import BM25Retriever\n",
+    "from langchain.retrievers import EnsembleRetriever"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 17,
+   "metadata": {},
+   "outputs": [
+    {
+     "name": "stdout",
+     "output_type": "stream",
+     "text": [
+      "데이터 로드 중...\n",
+      "총 2736개의 배치가 로드되었습니다.\n"
+     ]
+    }
+   ],
+   "source": [
+    "os.environ[\"TOKENIZERS_PARALLELISM\"] = \"false\"\n",
+    "\n",
+    "# cases.pkl 파일에서 데이터 로드\n",
+    "print(\"데이터 로드 중...\")\n",
+    "with open(\"/Users/anpigon/Documents/Embed/법원판례/Result2.pkl\", \"rb\") as file:\n",
+    "    data = pickle.load(file)\n",
+    "\n",
+    "print(f\"총 {len(data)}개의 배치가 로드되었습니다.\")"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 11,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "# 임베딩 모델 설정 (실제로 임베딩하지는 않음)\n",
+    "embeddings = HuggingFaceBgeEmbeddings(model_name=\"BAAI/bge-m3\")"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 18,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "# 텍스트 분할기 설정\n",
+    "text_splitter = RecursiveCharacterTextSplitter(\n",
+    "    chunk_size=2000,\n",
+    "    chunk_overlap=200,\n",
+    "    length_function=len,\n",
+    ")"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 19,
+   "metadata": {},
+   "outputs": [
+    {
+     "name": "stdout",
+     "output_type": "stream",
+     "text": [
+      "문서 처리 및 청킹 중...\n"
+     ]
+    },
+    {
+     "name": "stderr",
+     "output_type": "stream",
+     "text": [
+      "100%|██████████| 2736/2736 [00:42<00:00, 64.15it/s] \n"
+     ]
+    }
+   ],
+   "source": [
+    "# 문서 처리 및 청킹\n",
+    "print(\"문서 처리 및 청킹 중...\")\n",
+    "documents = []\n",
+    "text_embedding_pairs = []\n",
+    "\n",
+    "for batch in tqdm(data):\n",
+    "    original_sentences = batch[1]  # 배치당 32개의 원본 문장\n",
+    "    embedding_vectors = batch[0]  # 배치당 32개의 임베딩 벡터\n",
+    "\n",
+    "    for sentence, vector in zip(original_sentences, embedding_vectors):\n",
+    "        chunks = text_splitter.split_text(sentence)\n",
+    "        for chunk in chunks:\n",
+    "            doc = Document(page_content=chunk)\n",
+    "            documents.append(doc)\n",
+    "            text_embedding_pairs.append((chunk, vector))"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 12,
+   "metadata": {},
+   "outputs": [
+    {
+     "name": "stdout",
+     "output_type": "stream",
+     "text": [
+      "FAISS 인덱스 불러오기\n",
+      "FAISS 인덱스 불러오기 완료\n"
+     ]
+    }
+   ],
+   "source": [
+    "# FAISS 인덱스 생성\n",
+    "print(\"FAISS 인덱스 불러오기\")\n",
+    "FAISS_DB_INDEX = \"./index_faiss\"\n",
+    "faiss_db = FAISS.load_local(\n",
+    "    FAISS_DB_INDEX, embeddings, allow_dangerous_deserialization=True\n",
+    ")\n",
+    "faiss_retriever = faiss_db.as_retriever(search_type=\"mmr\", search_kwargs={\"k\": 10})\n",
+    "print(\"FAISS 인덱스 불러오기 완료\")"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 22,
+   "metadata": {},
+   "outputs": [
+    {
+     "name": "stdout",
+     "output_type": "stream",
+     "text": [
+      "BM25Retriever 불러오기\n",
+      "BM25 리트리버 불러오기 완료\n"
+     ]
+    }
+   ],
+   "source": [
+    "from kiwipiepy import Kiwi\n",
+    "from typing import List\n",
+    "\n",
+    "kiwi = Kiwi()\n",
+    "\n",
+    "\n",
+    "def kiwi_tokenize(text):\n",
+    "    return [token.form for token in kiwi.tokenize(text)]\n",
+    "\n",
+    "\n",
+    "print(\"BM25Retriever 불러오기\")\n",
+    "# bm25_retriever = BM25Retriever.from_documents(documents, k=10)\n",
+    "with open(\"./index_bm25/kiwi.pkl\", \"rb\") as f:\n",
+    "    bm25_retriever = pickle.load(f)\n",
+    "print(\"BM25 리트리버 불러오기 완료\")"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 26,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "ensemble_retriever = EnsembleRetriever(\n",
+    "    retrievers=[bm25_retriever, faiss_retriever], weights=[0.7, 0.3], search_type=\"mmr\"\n",
+    ")"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 27,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "from operator import itemgetter\n",
+    "from langchain.callbacks.base import BaseCallbackHandler\n",
+    "from langchain_core.prompts import (\n",
+    "    HumanMessagePromptTemplate,\n",
+    "    SystemMessagePromptTemplate,\n",
+    ")\n",
+    "from langchain_openai import ChatOpenAI\n",
+    "from langchain_anthropic import ChatAnthropic\n",
+    "from langchain_core.output_parsers import StrOutputParser\n",
+    "from langchain_community.chat_message_histories import ChatMessageHistory\n",
+    "from langchain.schema import HumanMessage, AIMessage, SystemMessage\n",
+    "from langchain.schema.runnable import RunnablePassthrough\n",
+    "from langchain.prompts import ChatPromptTemplate, MessagesPlaceholder\n",
+    "\n",
+    "\n",
+    "class StreamCallback(BaseCallbackHandler):\n",
+    "    def on_llm_new_token(self, token: str, **kwargs):\n",
+    "        print(token, end=\"\", flush=True)\n",
+    "\n",
+    "\n",
+    "# 프롬프트 템플릿 설정\n",
+    "prompt_template = \"\"\"\n",
+    "당신은 판사이자 20년차 법률 전문가입니다. 주어진 질문에 대해 문서의 정보를 최대한 활용하여 답변하세요.\n",
+    "질문자는 자기 상황을 설명할 것이며, 질문자의 상황과 비슷한 판례를 설명해줘야 하며, 가장 최근 사건 순으로 소개랍니다.\n",
+    "최대한 자세하게 답변합니다. 초등학생이 이해할 정도로 이해하기 쉽도록 답변하고, 한글로 작성하세요.\n",
+    "질문에 대힌 답변 사, [사건명 1]..., [사건명 2]... 순서로 설명해야 합니다.\n",
+    "문서에서 답변을 찾을 수 없는 경우, \"문서에 답변이 없습니다.\"라고 답변하세요.\n",
+    "답변의 출처(source)를 반드시 표기해주세요. 출처는 메타데이터의 판례일련번호, 사건명, 사건번호 순으로 표기 합니다.\n",
+    "\n",
+    "# 주어진 문서:\n",
+    "{context}\n",
+    "\n",
+    "# 질문: {question}\n",
+    "\n",
+    "# 답변:\n",
+    "\n",
+    "# 출처:\n",
+    "- source1\n",
+    "- source2\n",
+    "- ...\n",
+    "\"\"\"\n",
+    "\n",
+    "# LLM 및 출력 파서 설정\n",
+    "llm = ChatOpenAI(\n",
+    "    model=\"gpt-4o\",\n",
+    "    temperature=0,\n",
+    "    streaming=True,\n",
+    "    verbose=True,\n",
+    "    callbacks=[StreamCallback()],\n",
+    ")\n",
+    "# llm = ChatAnthropic(model=\"claude-3-5-sonnet-20240620\", temperature=0, streaming=True, callbacks=[StreamCallback()])\n",
+    "\n",
+    "output_parser = StrOutputParser()\n",
+    "\n",
+    "# 채팅 기록을 저장할 메모리 초기화\n",
+    "chat_history = ChatMessageHistory()\n",
+    "\n",
+    "# 프롬프트 설정\n",
+    "prompt = ChatPromptTemplate.from_messages(\n",
+    "    [\n",
+    "        (\"system\", prompt_template),\n",
+    "        MessagesPlaceholder(variable_name=\"history\"),\n",
+    "        (\"human\", \"{question}\"),\n",
+    "    ]\n",
+    ").partial(history=chat_history.messages)\n",
+    "\n",
+    "# Runnable 객체 생성\n",
+    "runnable = RunnablePassthrough.assign(\n",
+    "    context=itemgetter(\"question\") | ensemble_retriever,\n",
+    ")\n",
+    "# LCEL 체인 구성\n",
+    "chain = runnable | prompt | llm | output_parser\n",
+    "\n",
+    "\n",
+    "def rag_chain(question):\n",
+    "    response = chain.invoke({\"question\": question})\n",
+    "    chat_history.add_user_message(question)\n",
+    "    chat_history.add_ai_message(response)\n",
+    "    return response"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 28,
+   "metadata": {},
+   "outputs": [
+    {
+     "name": "stdout",
+     "output_type": "stream",
+     "text": [
+      "안녕하세요. 판사님입니다. 질문하신 상황과 비슷한 판례를 찾아보았습니다. 아래에 두 가지 사례를 소개해드리겠습니다.\n",
+      "\n",
+      "### [사건명 1] 불공정한 법률행위에 관한 법리를 오해한 위법이 있는 실례\n",
+      "- **출처**: 214987, 손해배상등, 68다88, 1968.07.30\n",
+      "- **사건 내용**: 매도인이 부동산을 매도할 당시, 매수인이 매도인의 궁박한 사정을 알고 있었고, 매도인이 팔기를 꺼려하는 부분까지 매수인의 요구에 의해 함께 팔지 않을 수 없었습니다. 매매목적물의 경계확정측량도 매수인이 일방적으로 하고, 부동산 가격도 매우 저렴하게 책정되었습니다. 이 사건에서 법원은 이러한 매매행위가 불공정한 법률행위에 해당한다고 판단하였습니다.\n",
+      "\n",
+      "### [사건명 2] 원고의 주장이 착오로 인한 의사표시의 취소로도 보여지므로, 이를 석명치 않은 위법이 있는 예\n",
+      "- **출처**: 153300, 매매대금반환등, 66다1289, 1966.09.20\n",
+      "- **사건 내용**: 원고가 피고로부터 매수한 논 1,389평 중 일부는 하천으로 되어 있어 경작할 수 없는 땅이었고, 나머지 땅은 이미 다른 사람들이 경작하고 있었습니다. 원고는 이러한 사실을 알지 못한 채 매매계약을 체결하였고, 나중에 이를 알게 되어 계약을 무효로 주장하였습니다. 법원은 원고의 주장이 착오로 인한 의사표시의 취소로도 볼 수 있다고 판단하였습니다.\n",
+      "\n",
+      "이 두 사건 모두 매수인이 매매 대상 부동산의 실제 상태를 제대로 알지 못한 채 계약을 체결한 후, 그 사실을 알게 되어 법적 분쟁이 발생한 사례입니다. 질문자님의 상황과 유사한 점이 많으므로 참고하시기 바랍니다.\n",
+      "\n",
+      "### 요약\n",
+      "- **사건명 1**: 매도인의 궁박한 사정을 이용하여 부동산을 저렴하게 매수한 경우.\n",
+      "- **사건명 2**: 매수한 부동산이 실제로는 경작할 수 없는 땅이었음을 나중에 알게 된 경우.\n",
+      "\n",
+      "이와 같은 사례를 통해 법적 대응 방안을 모색해보시기 바랍니다. 추가적인 법적 조언이 필요하시면 변호사와 상담하시기를 권장드립니다.\n",
+      "\n",
+      "감사합니다.\n",
+      "\n",
+      "### 출처\n",
+      "- 214987, 손해배상등, 68다88, 1968.07.30\n",
+      "- 153300, 매매대금반환등, 66다1289, 1966.09.20"
+     ]
+    },
+    {
+     "data": {
+      "text/plain": [
+       "'안녕하세요. 판사님입니다. 질문하신 상황과 비슷한 판례를 찾아보았습니다. 아래에 두 가지 사례를 소개해드리겠습니다.\\n\\n### [사건명 1] 불공정한 법률행위에 관한 법리를 오해한 위법이 있는 실례\\n- **출처**: 214987, 손해배상등, 68다88, 1968.07.30\\n- **사건 내용**: 매도인이 부동산을 매도할 당시, 매수인이 매도인의 궁박한 사정을 알고 있었고, 매도인이 팔기를 꺼려하는 부분까지 매수인의 요구에 의해 함께 팔지 않을 수 없었습니다. 매매목적물의 경계확정측량도 매수인이 일방적으로 하고, 부동산 가격도 매우 저렴하게 책정되었습니다. 이 사건에서 법원은 이러한 매매행위가 불공정한 법률행위에 해당한다고 판단하였습니다.\\n\\n### [사건명 2] 원고의 주장이 착오로 인한 의사표시의 취소로도 보여지므로, 이를 석명치 않은 위법이 있는 예\\n- **출처**: 153300, 매매대금반환등, 66다1289, 1966.09.20\\n- **사건 내용**: 원고가 피고로부터 매수한 논 1,389평 중 일부는 하천으로 되어 있어 경작할 수 없는 땅이었고, 나머지 땅은 이미 다른 사람들이 경작하고 있었습니다. 원고는 이러한 사실을 알지 못한 채 매매계약을 체결하였고, 나중에 이를 알게 되어 계약을 무효로 주장하였습니다. 법원은 원고의 주장이 착오로 인한 의사표시의 취소로도 볼 수 있다고 판단하였습니다.\\n\\n이 두 사건 모두 매수인이 매매 대상 부동산의 실제 상태를 제대로 알지 못한 채 계약을 체결한 후, 그 사실을 알게 되어 법적 분쟁이 발생한 사례입니다. 질문자님의 상황과 유사한 점이 많으므로 참고하시기 바랍니다.\\n\\n### 요약\\n- **사건명 1**: 매도인의 궁박한 사정을 이용하여 부동산을 저렴하게 매수한 경우.\\n- **사건명 2**: 매수한 부동산이 실제로는 경작할 수 없는 땅이었음을 나중에 알게 된 경우.\\n\\n이와 같은 사례를 통해 법적 대응 방안을 모색해보시기 바랍니다. 추가적인 법적 조언이 필요하시면 변호사와 상담하시기를 권장드립니다.\\n\\n감사합니다.\\n\\n### 출처\\n- 214987, 손해배상등, 68다88, 1968.07.30\\n- 153300, 매매대금반환등, 66다1289, 1966.09.20'"
+      ]
+     },
+     "execution_count": 28,
+     "metadata": {},
+     "output_type": "execute_result"
+    }
+   ],
+   "source": [
+    "rag_chain(\n",
+    "    \"논밭은 약 2천평을 샀는데, 알고 보니 집을 지을 수 없는 땅이야. 이런 사기와 비슷한 걸 알려줘!\"\n",
+    ")"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": null,
+   "metadata": {},
+   "outputs": [],
+   "source": []
+  }
+ ],
+ "metadata": {
+  "kernelspec": {
+   "display_name": "langchain",
+   "language": "python",
+   "name": "python3"
+  },
+  "language_info": {
+   "codemirror_mode": {
+    "name": "ipython",
+    "version": 3
+   },
+   "file_extension": ".py",
+   "mimetype": "text/x-python",
+   "name": "python",
+   "nbconvert_exporter": "python",
+   "pygments_lexer": "ipython3",
+   "version": "3.11.9"
+  }
+ },
+ "nbformat": 4,
+ "nbformat_minor": 2
+}