Update app.py

app.py

@@ -13,8 +13,6 @@ import requests
 from langchain_community.vectorstores import Chroma
 from langchain_community.embeddings import HuggingFaceEmbeddings 
 import json
-from audio_recorder_streamlit import audio_recorder
-import speech_recognition as sr
 from googlesearch import search
 from bs4 import BeautifulSoup
 import PyPDF2
@@ -24,14 +22,40 @@ from youtube_transcript_api import YouTubeTranscriptApi
 import webbrowser
 from streamlit_javascript import st_javascript
 import datetime
+from openai import OpenAI
 
 load_dotenv()
+EFFETTUA_LOGIN_GOOGLE = os.getenv('EFFETTUA_LOGIN_GOOGLE')=="1"  
 URL_APP_SCRIPT = os.getenv('URL_APP_SCRIPT')
 URL_PROMPT = URL_APP_SCRIPT + '?IdFoglio=1cLw9q70BsPmxMBj9PIzgXtq6sm3X-GVBVnOB5wE8jr8'
 URL_DOCUMENTI = URL_APP_SCRIPT + '?IdSecondoFoglio=1cLw9q70BsPmxMBj9PIzgXtq6sm3X-GVBVnOB5wE8jr8'
 SYSTEM_PROMPT = ["Sei BonsiAI e mi aiuterai nelle mie richieste (Parla in ITALIANO)", "Esatto, sono BonsiAI. Di cosa hai bisogno?"]
-CHAT_BOTS = {"Mixtral 8x7B v0.1" :"mistralai/Mixtral-8x7B-Instruct-v0.1", 
-             "Mistral 7B v0.2" :"mistralai/Mistral-7B-Instruct-v0.2"}
+CHAT_BOTS = {
+    "Mixtral 8x7B v0.1": {
+        "model": "mistralai/Mixtral-8x7B-Instruct-v0.1",
+        "description": "Un modello avanzato di chatbot con architettura 8x7B sviluppato da Mistral AI. Supporta fino a 30 pagine di input e costa zero",
+        "pagine_contesto": 30, 
+        "richiede_api_key": False
+    },
+    "Mistral 7B v0.2": {
+        "model": "mistralai/Mistral-7B-Instruct-v0.2",
+        "description": "Una versione più leggera del modello Mistral, con architettura 7B, sviluppato da Mistral AI. Supporta fino a 8 pagine di input e costa zero",
+        "pagine_contesto": 8,
+        "richiede_api_key": False
+    },
+    "Gpt 3.5 Turbo": {
+        "model": "gpt-3.5-turbo",
+        "description": "Una versione ottimizzata e performante del modello GPT-3.5 di OpenAI. Supporta 16 Pagine di input e costa 2$ ogni 1000 Pagine",
+        "pagine_contesto": 16,
+        "richiede_api_key": True
+    },
+    "Gpt 4 Turbo": {
+        "model": "gpt-4-turbo",
+        "description": "Una versione avanzata e potenziata del famoso modello GPT-4 di OpenAI, ottimizzata per prestazioni superiori. Supporta fino a 120 Pagine di input e costa 30$ ogni 1000 Pagine",
+        "pagine_contesto": 120,
+        "richiede_api_key": True
+    }
+}
 option_personalizzata = {'Personalizzata': {'systemRole': 'Tu sei BONSI AI, il mio assistente personale della scuola superiore del Bonsignori. Aiutami in base alle mie esigenze', 
                        'systemStyle': 'Firmati sempre come BONSI AI. (scrivi in italiano)', 
                        'instruction': '', 
@@ -70,6 +94,9 @@ def init_state() :
     if "repetion_penalty" not in st.session_state :
         st.session_state.repetion_penalty = 1
 
+    if "api_key" not in st.session_state :
+        st.session_state.api_key = ""
+
     if "chat_bot" not in st.session_state :
         st.session_state.chat_bot = "Mixtral 8x7B v0.1"
 
@@ -109,6 +136,9 @@ def init_state() :
     if "uploaded_files" not in st.session_state:
         st.session_state.uploaded_files = None
 
+    if "client" not in st.session_state:
+        st.session_state.client = None
+
     if "urls" not in st.session_state:
         st.session_state.urls = [""] * 5
 
@@ -133,7 +163,7 @@ def init_state() :
             "Ultimo giorno": "qdr:d"
         }
 
-    if not st.session_state.loaded_data and st.session_state.login_effettuato == True:
+    if not st.session_state.loaded_data and (st.session_state.login_effettuato == True or EFFETTUA_LOGIN_GOOGLE == False):
         place=st.empty()
         place=st.empty()
         with place:
@@ -149,7 +179,10 @@ def init_state() :
                 documenti = {}
                 if URL_REDIRECT != "http://localhost:8501/":
                     documenti = requests.get(URL_DOCUMENTI).json()
-                st.session_state.options = {**option_personalizzata, **option_leggiemail, **option_leggicalendar, **options}
+                st.session_state.options = {**option_personalizzata, **options}
+                if EFFETTUA_LOGIN_GOOGLE:
+                    st.session_state.options.update(option_leggiemail)
+                    st.session_state.options.update(option_leggicalendar)
                 st.session_state.documenti = documenti
                 st.session_state.loaded_data = True
                 status.update(label="Caricamento Completato", state="complete", expanded=False)
@@ -200,9 +233,11 @@ def sidebar():
             st.session_state.selected_documento_key = st.selectbox('Documento', list(st.session_state.documenti.keys()))
             st.session_state.selected_documento = st.session_state.documenti.get(st.session_state.selected_documento_key, {})
             st.session_state.instruction = st.session_state.selected_documento.get('instruction', '')['Testo']
-            st.session_state.split = st.slider(label="Pagine Suddivisione", min_value=1, max_value=30, value=30, help='Se il documento ha 100 pagine e suddivido per 20 pagine elaborerà la risposta 5 volte. Più alto è il numero e meno volte elaborerà ma la risposta sarà più imprecisa')            
         else:
             st.session_state.instruction = st.session_state.selected_option.get('instruction', '')
+        
+        
+
         st.session_state.systemRole = st.session_state.selected_option.get('systemRole', '')
         st.session_state.systemRole = st.text_area("Descrizione", st.session_state.systemRole, help='Ruolo del chatbot e descrizione dell\'azione che deve svolgere')
         st.session_state.systemStyle = st.session_state.selected_option.get('systemStyle', '')
@@ -243,11 +278,17 @@ def sidebar():
     
     def model_settings():
         st.markdown("# Modello")
-        st.session_state.chat_bot = st.sidebar.radio('Modello:', [key for key, value in CHAT_BOTS.items() ])
+        st.session_state.chat_bot = st.sidebar.selectbox('Tipo', list(CHAT_BOTS.keys()))
+        if CHAT_BOTS[st.session_state.chat_bot]["richiede_api_key"] == True:
+            st.session_state.api_key = st.text_input('Api Key', type = 'password', label_visibility='collapsed', placeholder='Inserisci la chiave API')
+            st.session_state.client = OpenAI(api_key=st.session_state.api_key)
+            print('xxxxxxx')
+        st.write(CHAT_BOTS[st.session_state.chat_bot]["description"])
+        st.session_state.split = st.slider(label="Pagine Suddivisione", min_value=1, max_value=CHAT_BOTS[st.session_state.chat_bot]["pagine_contesto"], value=CHAT_BOTS[st.session_state.chat_bot]["pagine_contesto"], help='Se il documento ha 100 pagine e suddivido per 20 pagine elaborerà la risposta 5 volte. Più alto è il numero e meno volte elaborerà ma la risposta sarà più imprecisa')
         st.session_state.numero_generazioni = st.slider(label="Generazioni", min_value = 1, max_value=10, value=1)
         st.session_state.enable_history = st.toggle("Storico Messaggi", value=True)
         st.session_state.temp = st.slider(label="Creatività", min_value=0.0, max_value=1.0, step=0.1, value=0.9)
-        st.session_state.max_tokens = st.slider(label="Lunghezza Output", min_value = 2, max_value=2048, step= 32, value=1024)
+        st.session_state.max_tokens = st.slider(label="Lunghezza Output", min_value = 2, max_value=4096, step= 32, value=1024)
         st.markdown("---")
 
     def export_settings():
@@ -261,40 +302,10 @@ def sidebar():
     with st.sidebar:
         retrieval_settings()
         model_settings()
-        export_settings()
+        if EFFETTUA_LOGIN_GOOGLE:
+            export_settings()
         st.markdown("""> **Creato da Matteo Bergamelli **""")
 
-def audioRec():
-    st.session_state.audio_bytes = audio_recorder(text='', icon_size="3x")
-    if st.session_state.audio_bytes:
-        with open("./AUDIO.wav", "wb") as file:
-            file.write(st.session_state.audio_bytes)
-        wav = sr.AudioFile("./AUDIO.wav")
-        with wav as source:
-            recognizer_instance = sr.Recognizer() 
-            recognizer_instance.pause_threshold = 3.0
-            audio = recognizer_instance.listen(source)
-            print("Ok! sto ora elaborando il messaggio!")
-        try:
-            text = recognizer_instance.recognize_google(audio, language="it-IT")
-            print(text)
-            js = f"""
-                <script>
-                    var chatInput = parent.document.querySelector('textarea[data-testid="stChatInput"]');
-                    var nativeInputValueSetter = Object.getOwnPropertyDescriptor(window.HTMLTextAreaElement.prototype, "value").set;
-                    nativeInputValueSetter.call(chatInput, "{text}");
-                    var event = new Event('input', {{ bubbles: true}});
-                    chatInput.dispatchEvent(event);
-                    var sendChat = parent.document.getElementsByClassName("st-emotion-cache-1621d17")[0]
-                    sendChat.click();
-                    var x = parent.document.querySelector('[title="st.iframe"]');
-                    x.style.display = "none";
-                </script>
-                """
-            st.components.v1.html(js)
-        except Exception as e:
-            print(e)
-
 def header() :
     st.title("Bonsi A.I.", anchor=False)
     with st.expander("Cos'è BonsiAI?"):
@@ -390,9 +401,9 @@ def gen_online_prompt(prompt, top_k) :
         links.append((str(i) + '. ' + result['title'], result['description'] + '\n\n' + result['url']))
     return context, links
 
-def generate_chat_stream(prompt) :
-    chat_stream = chat(prompt, st.session_state.history,chat_client=CHAT_BOTS[st.session_state.chat_bot] ,
-                    temperature=st.session_state.temp, max_new_tokens=st.session_state.max_tokens)    
+def generate_chat_stream(prompt):
+    chat_stream = chat(prompt, st.session_state.history,chat_client=CHAT_BOTS[st.session_state.chat_bot]["model"],
+                    temperature=st.session_state.temp, max_new_tokens=st.session_state.max_tokens, client_openai = st.session_state.client)    
     return chat_stream
 
 def inserisci_istruzioni(prompt_originale): 
@@ -421,9 +432,13 @@ def inserisci_istruzioni(prompt_originale):
 def stream_handler(chat_stream, placeholder) :
     full_response = ''
     for chunk in chat_stream :
-        if chunk.token.text!='</s>' :
-            full_response += chunk.token.text
-            placeholder.markdown(full_response + "▌")
+        if CHAT_BOTS[st.session_state.chat_bot]["model"][:3] == 'gpt':
+            if chunk.choices[0].delta and chunk.choices[0].delta.content:
+                full_response += chunk.choices[0].delta.content
+        else:
+            if chunk.token.text!='</s>' :
+                full_response += chunk.token.text
+        placeholder.markdown(full_response + "▌")
     placeholder.markdown(full_response)
     return full_response
 
@@ -444,17 +459,17 @@ def split_text(text, chunk_size):
     return testo_suddiviso
 
 init_state()
-if st.session_state.login_effettuato == False:
+if not st.session_state.login_effettuato and EFFETTUA_LOGIN_GOOGLE:
     connetti_google()
 
-if st.session_state.login_effettuato == True:
+if st.session_state.login_effettuato or not EFFETTUA_LOGIN_GOOGLE:
     st_javascript("localStorage.removeItem('token');")
     init_state()
     sidebar()
     header()
     chat_box()
     
-    if prompt := st.chat_input("Chatta con BonsiAI..."):
+    if prompt := st.chat_input("Chatta con BonsiAI..."):        
         prompt_originale = prompt
         links = inserisci_istruzioni(prompt_originale)
         st.session_state.instruction+= ' \n\n' + st.session_state.testo_documenti
@@ -464,6 +479,8 @@ if st.session_state.login_effettuato == True:
         parte=1           
         i=1 
         risposta_completa = ''
+        full_response = ''
+        errore_generazione = False
         for ruolo_singolo in ruoli_divisi:
             for instruction_singola in instruction_suddivise:
                 for numgen in range(1, st.session_state.numero_generazioni+1):
@@ -474,26 +491,35 @@ if st.session_state.login_effettuato == True:
                     print('------------------------------------------------------------------------------------')
                     print(prompt)
                     st.session_state.messages.append({"role": "user", "content": prompt_originale})
-                    chat_stream = generate_chat_stream(prompt)
-                    with st.chat_message("assistant"):
-                        placeholder = st.empty()
-                        full_response = stream_handler(chat_stream, placeholder)
-                        if st.session_state.rag_enabled or st.session_state.cerca_online or st.session_state.selected_option["tipo"]=='EMAIL' or st.session_state.selected_option["tipo"]=='CALENDAR':
-                            show_source(links)  
-                        if st.session_state.options.get(st.session_state.selected_option_key, {})["tipo"]=='DOCUMENTO':
-                            with st.expander("Mostra Documento") :
-                                st.info('##### ' + st.session_state.selected_documento_key + ' (Parte ' + str(parte) +')'+ '\n\n\n' + instruction_singola)
-                                parte+=1
-                    st.session_state.messages.append({"role": "assistant", "content": full_response})
-                    risposta_completa = risposta_completa + '\n' + full_response
-    
-        st.session_state.ultimo_messaggio = full_response
-        st.session_state.tutti_messaggi += '\n\n' + full_response
-        if st.session_state.enable_history:
-            st.session_state.history.append([prompt_originale, full_response])
-        else:
-            st.session_state.history.append(['', ''])
-        st.success('Generazione Completata')
-        payload = {"domanda": prompt_originale, "risposta": risposta_completa}
-        json_payload = json.dumps(payload)
-        response = requests.post(URL_APP_SCRIPT, data=json_payload)
+                    try:
+                        chat_stream = generate_chat_stream(prompt)
+                        with st.chat_message("assistant"):
+                            placeholder = st.empty()
+                            full_response = stream_handler(chat_stream, placeholder)
+                            if st.session_state.rag_enabled or st.session_state.cerca_online or st.session_state.selected_option["tipo"]=='EMAIL' or st.session_state.selected_option["tipo"]=='CALENDAR':
+                                show_source(links)  
+                            if st.session_state.options.get(st.session_state.selected_option_key, {})["tipo"]=='DOCUMENTO':
+                                with st.expander("Mostra Documento") :
+                                    st.info('##### ' + st.session_state.selected_documento_key + ' (Parte ' + str(parte) +')'+ '\n\n\n' + instruction_singola)
+                                    parte+=1
+                        st.session_state.messages.append({"role": "assistant", "content": full_response})
+                        risposta_completa = risposta_completa + '\n' + full_response
+                    except Exception as e:
+                        print(str(e))
+                        errore_generazione = True
+                        if CHAT_BOTS[st.session_state.chat_bot]["model"][:3] == 'gpt':
+                            st.error('Inserisci una CHIAVE API valida e controlla il CREDITO residuo: https://platform.openai.com/api-keys')  
+                        else:
+                            st.error('Modello AI attualmente non disponibile')    
+
+        if errore_generazione == False: 
+            st.session_state.ultimo_messaggio = full_response
+            st.session_state.tutti_messaggi += '\n\n' + full_response
+            if st.session_state.enable_history:
+                st.session_state.history.append([prompt_originale, full_response])
+            else:
+                st.session_state.history.append(['', ''])
+            st.success('Generazione Completata')
+            payload = {"domanda": prompt_originale, "risposta": risposta_completa}
+            json_payload = json.dumps(payload)
+            response = requests.post(URL_APP_SCRIPT, data=json_payload)