Update utils.py
Browse files
utils.py
CHANGED
|
@@ -138,6 +138,7 @@ YOUTUBE_DIR = "/youtube"
|
|
| 138 |
HISTORY_PFAD = "/data/history"
|
| 139 |
DOCS_DIR_PDF = "chroma/kkg/pdf"
|
| 140 |
DOCS_DIR_WORD = "chroma/kkg/word"
|
|
|
|
| 141 |
|
| 142 |
###############################################
|
| 143 |
#URLs zu Dokumenten oder andere Inhalte, die einbezogen werden sollen
|
|
@@ -396,13 +397,25 @@ def document_storage_chroma(splits):
|
|
| 396 |
|
| 397 |
########################################################
|
| 398 |
#Vektorstore speichern - bzw. laden
|
| 399 |
-
def save_splits_and_metadata(splits, filename="splits_and_metadata.pkl"):
|
| 400 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 401 |
pickle.dump(splits, f)
|
| 402 |
|
| 403 |
-
def load_splits_and_metadata(filename="splits_and_metadata.pkl"):
|
| 404 |
-
|
| 405 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
| 406 |
return pickle.load(f)
|
| 407 |
return None
|
| 408 |
|
|
|
|
| 138 |
HISTORY_PFAD = "/data/history"
|
| 139 |
DOCS_DIR_PDF = "chroma/kkg/pdf"
|
| 140 |
DOCS_DIR_WORD = "chroma/kkg/word"
|
| 141 |
+
VECTORSTORE_DIR="chroma/kkg"
|
| 142 |
|
| 143 |
###############################################
|
| 144 |
#URLs zu Dokumenten oder andere Inhalte, die einbezogen werden sollen
|
|
|
|
| 397 |
|
| 398 |
########################################################
|
| 399 |
#Vektorstore speichern - bzw. laden
|
| 400 |
+
def save_splits_and_metadata(splits, directory="chroma/kkg", filename="splits_and_metadata.pkl"):
|
| 401 |
+
# Erstellen des Verzeichnisses, falls es nicht existiert
|
| 402 |
+
if not os.path.exists(directory):
|
| 403 |
+
os.makedirs(directory)
|
| 404 |
+
|
| 405 |
+
# Vollständigen Pfad zur Datei erstellen
|
| 406 |
+
filepath = os.path.join(directory, filename)
|
| 407 |
+
|
| 408 |
+
# Speichern der Splits und Metadaten in der Datei
|
| 409 |
+
with open(filepath, "wb") as f:
|
| 410 |
pickle.dump(splits, f)
|
| 411 |
|
| 412 |
+
def load_splits_and_metadata(directory="chroma/kkg", filename="splits_and_metadata.pkl"):
|
| 413 |
+
# Vollständigen Pfad zur Datei erstellen
|
| 414 |
+
filepath = os.path.join(directory, filename)
|
| 415 |
+
|
| 416 |
+
# Laden der Splits und Metadaten aus der Datei
|
| 417 |
+
if os.path.exists(filepath):
|
| 418 |
+
with open(filepath, "rb") as f:
|
| 419 |
return pickle.load(f)
|
| 420 |
return None
|
| 421 |
|