Update app.py

app.py

@@ -13,59 +13,24 @@ SHOW_MODEL_PARAMETERS_IN_UI = os.environ.get("SHOW_MODEL_PARAMETERS_IN_UI", defa
 setup()
 
 
-rag = RAG(
-    hf_token=os.getenv("HF_TOKEN"),
-    embeddings_model=os.getenv("EMBEDDINGS"), 
-    model_name=os.getenv("MODEL"),   
-    
+rag = RAG(embeddings_model=os.getenv("EMBEDDINGS"))
 
-)
 
-
-def generate(prompt, sys_prompt, model_parameters):
+def eadop_rag(prompt, num_chunks):
+    model_parameters = {"NUM_CHUNKS": num_chunks}
     try:
-        output, context, source = rag.get_response(prompt, sys_prompt, model_parameters)
-        return output, context, source
+        retrun rag.get_context(prompt, model_parameters)
     except HTTPError as err:
         if err.code == 400:
             gr.Warning(
                 "The inference endpoint is only available Monday through Friday, from 08:00 to 20:00 CET."
             )
+        return None, None, None
     except:
         gr.Warning(
             "Inference endpoint is not available right now. Please try again later."
         )
-
-
-def submit_input(input_, sysprompt_, num_chunks, max_new_tokens, repetition_penalty, top_k, top_p, do_sample, temperature):
-    if input_.strip() == "":
-        gr.Warning("Not possible to inference an empty input")
-        return None
-
-
-    model_parameters = {
-        "NUM_CHUNKS": num_chunks,
-        "max_new_tokens": max_new_tokens,
-        "repetition_penalty": repetition_penalty,
-        "top_k": top_k,
-        "top_p": top_p,
-        "do_sample": do_sample,
-        "temperature": temperature
-    }
-
-    output, context, source = generate(input_, sysprompt_, model_parameters)
-    sources_markup = ""
-
-    for url in source:
-        sources_markup += f'<a href="{url}" target="_blank">{url}</a><br>'
-        
-    return output.strip(), sources_markup, context
-
-
-def change_interactive(text):
-    if len(text) == 0:
-        return gr.update(interactive=True), gr.update(interactive=False)
-    return gr.update(interactive=True), gr.update(interactive=True)
+        return None, None, None
 
 
 def clear():
@@ -75,48 +40,17 @@ def clear():
         None,
         None,
         gr.Slider(value=2.0),
-        gr.Slider(value=MAX_NEW_TOKENS),
-        gr.Slider(value=1.0),
-        gr.Slider(value=50),
-        gr.Slider(value=0.99),
-        gr.Checkbox(value=False),
-        gr.Slider(value=0.35),
     )
 
 
 def gradio_app():
     with gr.Blocks(theme=theme) as demo:
-        with gr.Row():
-            with gr.Column(scale=0.1):
-                gr.Image("rag_image.jpg", elem_id="flor-banner", scale=1, height=256, width=256, show_label=False, show_download_button = False, show_share_button = False)
-            with gr.Column():
-                gr.Markdown(
-                    """# Demo de Retrieval-Augmented Generation per documents legals
-                    🔍 **Retrieval-Augmented Generation** (RAG) és una tecnologia de IA que permet interrogar un repositori de documents amb preguntes 
-                    en llenguatge natural, i combina tècniques de recuperació d'informació avançades amb models generatius per redactar una resposta 
-                    fent servir només la informació existent en els documents del repositori. 
-                        
-                    🎯 **Objectiu:** Aquest és un primer demostrador amb la normativa vigent publicada al Diari Oficial de la Generalitat de Catalunya, en el 
-                    repositori del EADOP (Entitat Autònoma del Diari Oficial i de Publicacions). Aquesta primera versió explora prop de 2000 documents en català, 
-                    i genera la resposta fent servir un model 7b experimental, entrenat amb el dataset de QA generativa projecte-aina/RAG_Multilingual. 
-                    
-                    ⚠️ **Advertencies**: Primera versió experimental. El contingut generat per aquest model no està supervisat i pot ser incorrecte. 
-                    Si us plau, tingueu-ho en compte quan exploreu aquest recurs.                 
-                    """
-                )
         with gr.Row(equal_height=True):
             with gr.Column(variant="panel"):
                 input_ = Textbox(
                     lines=11,
                     label="Input",
                     placeholder="Quina és la finalitat del Servei Meteorològic de Catalunya?",
-                    # value = "Quina és la finalitat del Servei Meteorològic de Catalunya?"
-                )
-                sysprompt_ = Textbox(
-                    lines=2,
-                    label="System",
-                    placeholder="Below is a question that you should answer based on the given context. Write a response that answers the question using only information provided in the context.",
-                    value = "Below is a question that you should answer based on the given context. Write a response that answers the question using only information provided in the context."
                 )
                 with gr.Row(variant="panel"):
                     clear_btn = Button(
@@ -133,50 +67,11 @@ def gradio_app():
                             value=2,
                             label="Number of chunks"
                         )
-                        max_new_tokens = Slider(
-                            minimum=50,
-                            maximum=2000,
-                            step=1,
-                            value=MAX_NEW_TOKENS,
-                            label="Max tokens"
-                        )
-                        repetition_penalty = Slider(
-                            minimum=0.1,
-                            maximum=2.0,
-                            step=0.1,
-                            value=1.0,
-                            label="Repetition penalty"
-                        )
-                        top_k = Slider(
-                            minimum=1,
-                            maximum=100,
-                            step=1,
-                            value=50,
-                            label="Top k"
-                        )
-                        top_p = Slider(
-                            minimum=0.01,
-                            maximum=0.99,
-                            value=0.99,
-                            label="Top p"
-                        )  
-                        do_sample = Checkbox(
-                            value=False, 
-                            label="Do sample"
-                        )
-                        temperature = Slider(
-                            minimum=0.1, 
-                            maximum=1,
-                            value=0.35,
-                            label="Temperature"
-                        )
-
-                        parameters_compontents = [num_chunks, max_new_tokens, repetition_penalty, top_k, top_p, do_sample, temperature]
 
             with gr.Column(variant="panel"):
                 output = Textbox(
                     lines=10, 
-                    label="Output", 
+                    label="Context", 
                     interactive=False, 
                     show_copy_button=True
                 )
@@ -215,53 +110,18 @@ def gradio_app():
         clear_btn.click(
             fn=clear, 
             inputs=[], 
-            outputs=[input_, output, source_context, context_evaluation] + parameters_compontents,
+            outputs=[input_, output, source_context, context_evaluation, num_chunks],
               queue=False, 
               api_name=False
         )
         
         submit_btn.click(
             fn=submit_input, 
-            inputs=[input_, sysprompt_]+ parameters_compontents, 
+            inputs=[input_, num_chunks], 
             outputs=[output, source_context, context_evaluation],
-            api_name="get-results"
+            api_name="get-eadop-rag"
         )
 
-        with gr.Row():
-            with gr.Column(scale=0.5):
-                gr.Examples(
-                    examples=[
-                        ["""Què és l'EADOP (Entitat Autònoma del Diari Oficial i de Publicacions)?"""],
-                    ],
-                    inputs=input_,
-                    outputs=[output, source_context, context_evaluation],
-                    fn=submit_input,
-                )
-                gr.Examples(
-                    examples=[
-                        ["""Què diu el decret sobre la senyalització de les begudes alcohòliques i el tabac a Catalunya?"""],
-                    ],
-                    inputs=input_,
-                    outputs=[output, source_context, context_evaluation],
-                    fn=submit_input,
-                )
-                gr.Examples(
-                    examples=[
-                        ["""Com es pot inscriure una persona al Registre de catalans i catalanes residents a l'exterior?"""],
-                    ],
-                    inputs=input_,
-                    outputs=[output, source_context, context_evaluation],
-                    fn=submit_input,
-                )
-                gr.Examples(
-                    examples=[
-                        ["""Quina és la finalitat del Servei Meterològic de Catalunya ?"""],
-                    ],
-                    inputs=input_,
-                    outputs=[output, source_context, context_evaluation],
-                    fn=submit_input,
-                )
-
         demo.launch(show_api=True)