Update utils.py

utils.py

@@ -155,6 +155,7 @@ EMBEDDING_MODELL = "sentence-transformers/all-mpnet-base-v2"
 HF_MODELL ="EleutherAI/gpt-neo-2.7B"
 modell_rag = GPTNeoForCausalLM.from_pretrained(HF_MODELL)
 tokenizer_rag = GPT2Tokenizer.from_pretrained(HF_MODELL)
+tokenizer_rag.pad_token = tokenizer_rag.eos_token
 
 """
 HF_MODELL = "microsoft/Phi-3-mini-4k-instruct"
@@ -391,7 +392,7 @@ def llm_chain2(prompt, context):
     attention_mask = (inputs != tokenizer_rag.pad_token_id).long()
     #Generiere die Antwort
     outputs = modell_rag.generate(
-        inputs, 
+        inputs.input_ids, 
         attention_mask=attention_mask,
         max_new_tokens=1024, 
         do_sample=True, 
@@ -589,6 +590,22 @@ def list_pdfs():
         return []
     return [f for f in os.listdir(SAVE_DIR) if f.endswith('.pdf')]
 
+##########################################
+#Extension des hochgeladenen Files bestimmen
+def analyze_file(file):
+    file_extension = file.name.split('.')[-1]  # Holen Sie sich die Dateiendung
+    return file_extension
+
+########################################
+#Aus dem File-Pfad nur den Namen herausholen
+def get_filename(file_pfad):
+    parts = file_pfad.rsplit('/', 1)  # Den String nach dem letzten '/' aufteilen
+    if len(parts) == 2:
+        result = parts[1]  # Der Teil nach dem letzten '/' ist in parts[1]
+    else:
+        result = "Ein Fehler im Filenamen ist aufgetreten..."
+    return result
+
 
 #################################################
 #Klasse mit zuständen - z.B. für interrupt wenn Stop gedrückt...