update language

trauma/api/data/model.py

@@ -40,4 +40,5 @@ class EntityModel(MongoBaseModel):
     ageGroups: list[AgeGroup]
     treatmentAreas: list[str]
     treatmentMethods: list[str]
+    description: str = ''
     contactDetails: ContactDetails

trauma/api/data/prepare_data.py

@@ -1,18 +1,17 @@
 import asyncio
+import csv
+import json
 import re
 
-import pandas as pd
-
 from trauma.api.data.dto import AgeGroup
 from trauma.api.data.model import EntityModel
+from trauma.api.message.ai.prompts import TraumaPrompts
 from trauma.core.config import settings
 
+
 #
 #
 
-file_path = 'shorted_data.csv'
-df = pd.read_csv(file_path)
-
 
 async def main():
     for _, row in df.iterrows():
@@ -63,7 +62,6 @@ async def main():
         await settings.DB_CLIENT.entities.insert_one(entity_model.to_mongo())
 
 
-#
 def prepare_entities_str(entities: list[EntityModel]) -> list[str]:
     entities_str = []
     for entity in entities:
@@ -76,5 +74,61 @@ def prepare_entities_str(entities: list[EntityModel]) -> list[str]:
         entities_str.append(entity_str)
     return entities_str
 
+
+def csv_to_dict_list(file_path):
+    with open(file_path, mode='r', encoding='utf-8') as csv_file:
+        reader = csv.DictReader(csv_file)
+        return [row for row in reader]
+
+
+async def generate_description_with_ai(semaphore: asyncio.Semaphore, clinic: dict) -> str:
+    async with semaphore:
+        messages = [
+            {
+                "role": "system",
+                "content": TraumaPrompts.generate_clinic_description
+                .replace("{entity}", json.dumps(clinic, indent=2))
+            }
+        ]
+        completion = await settings.OPENAI_CLIENT.chat.completions.create(
+            messages=messages,
+            model='gpt-4o-mini',
+            temperature=0.8,
+            response_format={"type": "json_object"},
+            n=1
+        )
+        response = json.loads(completion.choices[0].message.content)
+        return response['description']
+
+
+async def generate_descriptions():
+    data = csv_to_dict_list(settings.BASE_DIR / 'translated_output.csv')
+    # semaphore = asyncio.Semaphore(value=10)
+    # descriptions = await asyncio.gather(*[generate_description_with_ai(semaphore, clinic=clinic) for clinic in data])
+    with open('test.json', 'r') as f:
+        descriptions = json.loads(f.read())
+    for clinic, description in zip(data, descriptions['descriptions']):
+        email = re.search(r"[a-zA-Z0-9._%+-]+@[a-zA-Z0-9.-]+\.[a-zA-Z]{2,}", clinic['Email'])
+        if email:
+            email = email.group(0)
+        else:
+            email = None
+        query = {
+            "name": clinic['Organization'].strip().strip('\n').strip(),
+            "contactDetails.email": email,
+            "contactDetails.address": clinic['Location'].strip().strip('\n').strip(),
+            # "contactDetails.postalCode": clinic['Postal code'].strip().strip('\n').strip()
+        }
+        document = await settings.DB_CLIENT.entities.find_one(query)
+        if not document:
+            continue
+        await settings.DB_CLIENT.entities.update_one(
+            {"id": document["id"]},
+            {
+                "$set": {"description": description}
+            }
+        )
+
+
 if __name__ == '__main__':
-    asyncio.run(main())
+    asyncio.run(generate_descriptions())

trauma/api/message/ai/prompts.py

@@ -109,3 +109,31 @@ Je moet een antwoord genereren aan de gebruiker waarin je aangeeft dat je geschi
 ## Voorbeeld van antwoorden
 
 - Gefeliciteerd! Hier is een lijst van klinieken die perfect passen bij deze aandoening. Ik heb deze klinieken aanbevolen omdat ze voldoen aan de gevraagde leeftijdsbeperkingen en gespecialiseerd zijn in de behandeling van deze aandoening met behulp van dergelijke methoden."""
+
+    generate_clinic_description = """## Taak
+
+Je bent verplicht om een beschrijving voor een kliniek te genereren op basis van de gegevens over deze kliniek [clinic data]. Je antwoord moet worden opgeslagen in het JSON-veld “description”.
+
+## Gegevens
+
+**clinic data**:
+
+{entity}
+
+## JSON-antwoordformaat
+
+```
+{
+  "description": "string"
+}
+```
+
+[INST]
+
+## Instructies voor het genereren van de beschrijving
+
+- De beschrijving van de kliniek moet creatief en promotioneel zijn. Schrijf de beschrijving vanuit het perspectief van de kliniek, waarbij soms de naam van de kliniek en het voorzetsel “Wij” worden gebruikt.
+- De beschrijving moet worden gepresenteerd in twee alinea's.
+- De beschrijving moet beknopt en bondig zijn.
+
+[/INST]"""