Update app.py

app.py

@@ -61,12 +61,12 @@ DOCS_DIR = "chroma/kkg/pdf"
 ###########################################
 #######################################
 #1. Alternative: HuggingFace Model name--------------------------------
-MODEL_NAME_HF  = "HuggingFaceH4/zephyr-7b-alpha" #"t5-small" #"meta-llama/Meta-Llama-3-8B-Instruct" #"mistralai/Mistral-7B-Instruct-v0.3" #"microsoft/Phi-3-mini-4k-instruct" #"HuggingFaceH4/zephyr-7b-alpha" 
+#MODEL_NAME_HF  = "HuggingFaceH4/zephyr-7b-alpha" #"t5-small" #"meta-llama/Meta-Llama-3-8B-Instruct" #"mistralai/Mistral-7B-Instruct-v0.3" #"microsoft/Phi-3-mini-4k-instruct" #"HuggingFaceH4/zephyr-7b-alpha" 
 
 ############################################
 #2. Alternative_ HuggingFace Reop ID--------------------------------
 #repo_id = "meta-llama/Llama-2-13b-chat-hf"   
-repo_id = "HuggingFaceH4/zephyr-7b-alpha"   #das Modell ist echt gut!!! Vom MIT
+#repo_id = "HuggingFaceH4/zephyr-7b-alpha"   #das Modell ist echt gut!!! Vom MIT
 #repo_id = "TheBloke/Yi-34B-Chat-GGUF"
 #repo_id = "meta-llama/Llama-2-70b-chat-hf"    
 #repo_id = "tiiuae/falcon-40b"  
@@ -84,7 +84,7 @@ repo_id = "HuggingFaceH4/zephyr-7b-alpha"   #das Modell ist echt gut!!! Vom MIT
 
 ###########################################
 #3. Alternative: HF API - URL
-API_URL = "https://api-inference.huggingface.co/models/Falconsai/text_summarization"
+#API_URL = "https://api-inference.huggingface.co/models/Falconsai/text_summarization"
 
 
 
@@ -163,6 +163,7 @@ def clear_all3(history):
 #History - die Frage oder das File eintragen...
 #in history_file ist ein file gespeichert, falls voher im Verlauf schon ein File hochgeladen wurde.
 #wird ein neuer File hochgeladen, so wird history_fiel dadurch ersetzt
+"""
 def add_text(chatbot, history, prompt, file, file_history):
     if (file == None):
         chatbot = chatbot +[(prompt, None)]
@@ -181,10 +182,11 @@ def add_text2(chatbot, prompt):
     else:
         chatbot = chatbot + [(prompt, None)]
     return chatbot, prompt, ""
-
+"""
     
 ############################################
 #nach dem Upload soll das zusätzliche Fenster mit dem image drinnen angezeigt werden
+"""
 def file_anzeigen(file):
     ext = analyze_file(file)
     if (ext == "png" or ext == "PNG" or ext == "jpg" or ext == "jpeg" or ext == "JPG" or ext == "JPEG"):
@@ -194,6 +196,7 @@ def file_anzeigen(file):
         
 def file_loeschen():
     return None, gr.Image(visible = False)
+"""
 
 ############################################
 #wenn 'Stop' Button geklickt, dann Message dazu und das Eingabe-Fenster leeren
@@ -209,7 +212,6 @@ def reset_textbox():
 ####################################################
 #aus einem Text-Prompt die Antwort von KI bekommen
 def generate_text (prompt, chatbot, history, vektordatenbank, retriever, top_p=0.6, temperature=0.2, max_new_tokens=4048, max_context_length_tokens=2048, repetition_penalty=1.3, top_k=35):
-    print("Text pur..............................")
     if (prompt == ""):
         raise gr.Error("Prompt ist erforderlich.")
 
@@ -218,7 +220,7 @@ def generate_text (prompt, chatbot, history, vektordatenbank, retriever, top_p=0
         #########################################
         #Prompt mit History Daten zusammenstellen:
         #Prompt an history anhängen und einen Text daraus machen
-        history_text_und_prompt = generate_prompt_with_history(prompt, history) 
+        #history_text_und_prompt = generate_prompt_with_history(prompt, history) 
 
         #oder an Hugging Face --------------------------
         print("HF Anfrage.......................")
@@ -236,6 +238,7 @@ def generate_text (prompt, chatbot, history, vektordatenbank, retriever, top_p=0
         ##############################################
         #1.Alternative mit Inference API ung HF EndPoint
         # Erstelle eine HuggingFaceEndPoints-Instanz mit den entsprechenden Endpunkt-Parametern
+        """
         llm = HuggingFaceEndpoint(
             endpoint_url=f"https://api-inference.huggingface.co/models/{MODEL_NAME_HF}",
             api_key=hf_token,
@@ -258,10 +261,12 @@ def generate_text (prompt, chatbot, history, vektordatenbank, retriever, top_p=0
         #llm = pipeline("text-generation", model=MODEL_NAME_HF, config={"temperature": 0.5, "max_length": 1024, "num_return_sequences": 1, "top_k": top_k, "top_p": top_p, "repetition_penalty": repetition_penalty}, trust_remote_code=True)
         #llm = pipeline("summarization", model=MODEL_NAME_HF, trust_remote_code=True)
         #result = rag_chain(llm, history_text_und_prompt, retriever)
-           
+        """
+
+        result = reg_chain_simpel(prompt, retriever)
+        
     except Exception as e:
         raise gr.Error(e)
-
     return result, False
 
 
@@ -289,18 +294,9 @@ def generate_auswahl(prompt_in, file, file_history, chatbot, history, anzahl_doc
                 vektordatenbank, retriever = document_storage_chroma(splits)
 
         #kein Bild hochgeladen -> auf Text antworten...
-        status = "Antwort der KI ..."
-        if (file == None and file_history == None):
-            results, status = generate_text(prompt, chatbot, history,vektordatenbank, retriever, top_p=0.6, temperature=0.5, max_new_tokens=4048, max_context_length_tokens=2048, repetition_penalty=1.3, top_k=3)
-        else:
-            #Es wurde ein File neu angehängt -> das hochladen und dann Prompt bearbeiten
-            #das history_fiel muss neu gesetzt werden
-            if (file != None):
-                # file_history wird neu gesetzt in der Rückgabe dieser Funktion...
-                neu_file = file
-    
-            #File hochladen in Chroma und dann Antwort generieren
-            results = generate_text_zu_doc(neu_file, prompt, k, rag_option, chatbot, history, vektordatenbank)
+        status = "Antwort der Vektordatenbank"
+        results, status = generate_text(prompt, chatbot, history,vektordatenbank, retriever, top_p=0.6, temperature=0.5, max_new_tokens=4048, max_context_length_tokens=2048, repetition_penalty=1.3, top_k=3)
+
 
         #Ergebnisse für history und chatbot zusammenstellen
         summary =  str(results['answer']) + "\n\n<b>Auszüge dazu: </b>"
@@ -316,20 +312,6 @@ def generate_auswahl(prompt_in, file, file_history, chatbot, history, anzahl_doc
         chatbot[-1][1] = summary
         return chatbot, history, None, file_history, ""
         
-        """
-        chatbot[-1][1] = ""
-        for character in summary:
-            chatbot[-1][1] += character
-            time.sleep(0.01)
-            yield chatbot, history, None, neu_file, status
-            if shared_state.interrupted:
-                shared_state.recover()
-                try:
-                    yield chatbot, history, None, neu_file, "Stop: Success"
-                except:
-                    pass
-        """
-        
 	
     else: #noch nicht validiert, oder kein Prompt
         return chatbot, history, None, file_history, "Erst validieren oder einen Prompt eingeben!"
@@ -346,8 +328,17 @@ def upload_pdf(file):
     # Extrahieren des Dateinamens aus dem vollen Pfad
     filename = os.path.basename(file.name)
     
+    # Extrahieren der Dateiendung
+    file_extension = os.path.splitext(filename)[1]
+    # Bestimmen des Upload-Pfads basierend auf der Dateiendung
+    if file_extension == ".pdf":
+        upload_path = f"chroma/kkg/pdf/{filename}"
+    elif file_extension == ".docx":
+        upload_path = f"chroma/kkg/word/{filename}"
+    else:
+        upload_path = f"chroma/kkg/{filename}"
+
     # Datei zum Hugging Face Space hochladen
-    upload_path = f"chroma/kkg/pdf/{filename}"
     api.upload_file(
         path_or_fileobj=file.name,
         path_in_repo=upload_path,