added check for relevance

.gitignore

@@ -0,0 +1,2 @@
+.env
+

RAG_class.py

@@ -3,6 +3,9 @@ from sentence_transformers import SentenceTransformer
 import chromadb
 import uuid
 import os
+from dotenv import load_dotenv
+load_dotenv()
+from openai import OpenAI
 
 class RAG_1177:
     def __init__(self):
@@ -44,3 +47,33 @@ class RAG_1177:
         self.db.add(documents=docs, embeddings=emb, metadatas=urls, ids=ids)
         return 
 
+
+    def relevant_question(self, query):
+
+        history = []
+        system_prompt = """Du ska bedömma frågor och svara endast JA eller NEJ.
+
+        Om frågan är relaterad till 1177 sjukrådgivningsdatabas, hälsa,vård, välmående, sjukrådgivning ska du svara "JA".
+
+        Om frågan inte är relaterad till ovanämnde ämnen ska du svara NEJ"""
+
+        user_prompt = f"""Svara endast JA eller NEJ ifall följande fråga är är relevant till 1177, sjukrådgivning, hälsa, vård och välmående
+
+        Frågan är: {query}"""
+
+            
+        history.append({"role": "system", "content": system_prompt})
+        history.append({"role": "user", "content": user_prompt})
+
+
+        client = OpenAI()
+        response = client.chat.completions.create(
+                model='gpt-3.5-turbo',
+                messages=history,
+                temperature=0.4,
+                stream=False
+            )
+        return (response.choices[0].message.content)
+    
+
+        

app.py

@@ -55,14 +55,17 @@ description = """<ul>
 <p>Du är varmt välkommen med frågor eller feedback: [email protected], <a href="https://www.linkedin.com/in/hassan-saado/">Linkedin</a></li></p>"""
 
 
+
 def predict(message, history):
     # Initialize RAG model
     rag = RAG_1177()
-    
+    print(message)
+    relevance_check = rag.relevant_question(message)
+
     # Prepare history in OpenAI format
     history_openai_format = []
     for human, assistant in history:
-        history_openai_format.append({"role": "user", "content": human })
+        history_openai_format.append({"role": "user", "content": human})
         history_openai_format.append({"role": "assistant", "content": assistant})
 
     documents, urls = rag.retrieve(message, 3)
@@ -70,6 +73,9 @@ def predict(message, history):
     if not history:
         history_openai_format.append({"role": "system", "content": system_prompt})
 
+    if relevance_check == "NEJ":
+        message = "Denna fråga är helt orrelevant och håller sig inte till ämnet. Ge inga referenser"
+
     user_prompt = f"""Fråga: {message}
 
     Information från 1177.se:
@@ -105,7 +111,7 @@ def main():
 
     ChatInterface(predict, textbox=textbox, chatbot=chatbot, title="Välkommen till 1177 AI-chatbot! 🔍🤒", theme=my_custom_theme,submit_btn="Skicka",
                   retry_btn="🔄Försök igen", undo_btn="↩️ Ångra", clear_btn="🗑️ Rensa",
-                   examples=examples,  cache_examples=False, description=description).launch(share=True)
+                   examples=examples,  cache_examples=False, description=description).launch(share=False)
 
 if __name__ == "__main__":
     main()

test_notebook.ipynb

@@ -0,0 +1,131 @@
+{
+ "cells": [
+  {
+   "cell_type": "code",
+   "execution_count": 22,
+   "metadata": {},
+   "outputs": [
+    {
+     "name": "stdout",
+     "output_type": "stream",
+     "text": [
+      "JA\n"
+     ]
+    }
+   ],
+   "source": [
+    "from openai import OpenAI\n",
+    "from dotenv import load_dotenv\n",
+    "load_dotenv()\n",
+    "\n",
+    "history = []\n",
+    "\n",
+    "system_prompt = \"\"\"Du ska bedömma frågor och svara endast JA eller NEJ.\n",
+    "\n",
+    "Om frågan är relaterad till 1177 sjukrådgivningsdatabas, hälsa,vård, välmående, sjukrådgivning ska du svara \"JA\".\n",
+    "\n",
+    "Om frågan inte är relaterad till ovanämnde ämnen ska du svara NEJ\"\"\"\n",
+    "\n",
+    "\n",
+    "fråga = \"Hur kan jag lindra min pollenallergi?\"\n",
+    "\n",
+    "user_prompt = f\"\"\"Svara endast JA eller NEJ ifall följande fråga är är relevant till 1177, sjukrådgivning, hälsa, vård och välmående\n",
+    "\n",
+    "Frågan är: {fråga}\"\"\"\n",
+    "\n",
+    "\n",
+    "history.append({\"role\": \"system\", \"content\": system_prompt})\n",
+    "history.append({\"role\": \"user\", \"content\": user_prompt})\n",
+    "\n",
+    "\n",
+    "client = OpenAI()\n",
+    "response = client.chat.completions.create(\n",
+    "        model='gpt-3.5-turbo',\n",
+    "        messages=history,\n",
+    "        temperature=0.4,\n",
+    "        stream=False\n",
+    "    )\n",
+    "\n",
+    "print(response.choices[0].message.content)"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 21,
+   "metadata": {},
+   "outputs": [
+    {
+     "name": "stdout",
+     "output_type": "stream",
+     "text": [
+      "Svara endast JA eller NEJ ifall följande fråga är är relevant till 1177, sjukrådgivning, hälsa, vård och välmående\n",
+      "\n",
+      "Frågan är: Hur kan jag förbättra min sömn?\n"
+     ]
+    }
+   ],
+   "source": [
+    "print(user_prompt)"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": null,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "response = client.chat.completions.create(\n",
+    "        model='gpt-3.5-turbo',\n",
+    "        messages=history,\n",
+    "        temperature=0.4,\n",
+    "        stream=True\n",
+    "    )"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 29,
+   "metadata": {},
+   "outputs": [
+    {
+     "name": "stdout",
+     "output_type": "stream",
+     "text": [
+      "NEJ\n"
+     ]
+    }
+   ],
+   "source": [
+    "from RAG_class import RAG_1177\n",
+    "rag = RAG_1177()\n",
+    "\n",
+    "fråga = \"Hur lagar jag en banankaka?\"\n",
+    "svar = rag.relevant_question(fråga)\n",
+    "\n",
+    "print(svar)\n",
+    "\n"
+   ]
+  }
+ ],
+ "metadata": {
+  "kernelspec": {
+   "display_name": "Python 3",
+   "language": "python",
+   "name": "python3"
+  },
+  "language_info": {
+   "codemirror_mode": {
+    "name": "ipython",
+    "version": 3
+   },
+   "file_extension": ".py",
+   "mimetype": "text/x-python",
+   "name": "python",
+   "nbconvert_exporter": "python",
+   "pygments_lexer": "ipython3",
+   "version": "3.11.9"
+  }
+ },
+ "nbformat": 4,
+ "nbformat_minor": 2
+}