|
import streamlit as st |
|
|
|
import base64 |
|
import os |
|
from dotenv import load_dotenv |
|
from anthropic import Anthropic |
|
from openai import OpenAI |
|
from PIL import Image, ImageOps |
|
import tempfile |
|
|
|
load_dotenv() |
|
|
|
api_key = os.environ.get("OPENROUTERAI_API_KEY") |
|
|
|
client = OpenAI( |
|
base_url="https://openrouter.ai/api/v1", |
|
api_key=api_key, |
|
) |
|
|
|
MODEL_NAME = "google/gemini-2.0-flash-lite-001" |
|
|
|
st.set_page_config( |
|
page_title="Le Radiologue Virtuel", |
|
page_icon="🩺", |
|
layout="centered", |
|
) |
|
|
|
|
|
st.markdown(""" |
|
<style> |
|
body { |
|
background-color: #f4f4f9; |
|
color: #333333; |
|
font-family: 'Arial', sans-serif; |
|
} |
|
.stButton>button { |
|
background-color: #007bff; |
|
color: white; |
|
border-radius: 8px; |
|
padding: 0.5em 1.5em; |
|
font-size: 1em; |
|
border: none; |
|
transition: all 0.3s ease-in-out; |
|
} |
|
.stButton>button:hover { |
|
background-color: #0056b3; |
|
transform: scale(1.05); |
|
} |
|
.st-expander-header { |
|
font-weight: bold; |
|
font-size: 1.2em; |
|
color: #007bff; |
|
} |
|
.stMarkdown { |
|
font-size: 1.1em; |
|
} |
|
</style> |
|
""", unsafe_allow_html=True) |
|
|
|
sample_prompt = """ |
|
Vous êtes un professionnel de santé, expert dans l'analyse des images médicales (échographie, radiographie standard, TDM, IRM, ...), travaillant pour un hôpital de renom. Votre tâche consiste à examiner des images médicales afin d'identifier les anomalies, maladies ou problèmes de santé éventuels. Vous devez fournir des résultats détaillés, incluant toutes vos observations, les prochaines étapes, ainsi que des recommandations. |
|
Votre analyse reste dans le cadre éducatif d'étudiants en radiologie médicale et ne sera en aucun cas publique. L'objectif est d'initier ces étudiants à l'interpretation des clichés radiologique. |
|
**Instructions :** |
|
1. Analysez uniquement les images liées au corps humain et aux problèmes de santé. |
|
2. Rédigez votre réponse de manière structurée, détaillant : |
|
- Les anomalies identifiées (le cas échéant). |
|
- Les pathologies suspectées ou confirmées. |
|
- Les recommandations et étapes suivantes. |
|
3. Si certains éléments ne sont pas clairs sur l'image, indiquez : *"Impossible de déterminer à partir de l'image fournie."* |
|
4. Terminez toujours votre réponse par une mention : *"Consultez un médecin avant de prendre toute décision."* |
|
""" |
|
|
|
|
|
if 'uploaded_file' not in st.session_state: |
|
st.session_state.uploaded_file = None |
|
if 'result' not in st.session_state: |
|
st.session_state.result = None |
|
if 'clinical_info' not in st.session_state: |
|
st.session_state.clinical_info = "" |
|
|
|
|
|
def encode_image(image_path): |
|
with open(image_path, "rb") as image_file: |
|
binary_data = image_file.read() |
|
base_64_encoded_data = base64.b64encode(binary_data) |
|
base64_string = base_64_encoded_data.decode('utf-8') |
|
return base64_string |
|
|
|
|
|
def call_groq_model_for_analysis(filename: str, clinical_info: str, sample_prompt=sample_prompt): |
|
|
|
file_extension = os.path.splitext(filename)[1].lower() |
|
if file_extension == ".jpg" or file_extension == ".jpeg": |
|
media_type = "image/jpeg" |
|
elif file_extension == ".png": |
|
media_type = "image/png" |
|
else: |
|
raise ValueError("Format de fichier non pris en charge.") |
|
base64_image = encode_image(filename) |
|
|
|
full_prompt = sample_prompt + f"\n\n**Renseignements cliniques du patient :** {clinical_info}\n" |
|
|
|
|
|
message_list=[ |
|
{ |
|
"role": "user", |
|
"content": [ |
|
{ |
|
"type": "text", |
|
"text": full_prompt, |
|
}, |
|
{ |
|
"type": "image_url", |
|
"image_url": {"url": f"data:{media_type};base64,{base64_image}"}, |
|
}, |
|
], |
|
} |
|
] |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
response = client.chat.completions.create( |
|
model=MODEL_NAME, |
|
max_tokens=2048, |
|
messages=message_list |
|
) |
|
return response.choices[0].message.content |
|
|
|
|
|
def chat_eli(query): |
|
eli5_prompt = "Tu dois expliquer l'information ci-dessous à un enfant de cinq ans. \n" + query |
|
messages = [ |
|
{ |
|
"role": "user", |
|
"content": eli5_prompt |
|
} |
|
] |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
completion = client.chat.completions.create( |
|
model="google/gemini-2.0-flash-lite-001", |
|
messages=messages |
|
) |
|
|
|
return completion.choices[0].message.content |
|
|
|
|
|
|
|
|
|
|
|
st.title("🩺 **Le Radiologue Virtuel**") |
|
st.subheader("Une IA avancée pour l'analyse des images médicales") |
|
|
|
with st.expander("📖 A-Propos de cette Application"): |
|
st.markdown(""" |
|
**Bienvenue sur LE RADIOLOGUE VIRTUEL**, votre assistant intelligent conçu pour fournir une analyse approfondie et précise des images médicales. |
|
|
|
### Fonctionnalités principales : |
|
- **Analyse d'images médicales** : Téléchargez des clichés d'échographie, de radiographie, d'IRM ou de TDM, et laissez l'IA détecter les anomalies et fournir des recommandations détaillées. |
|
- **Explications simplifiées** : Grâce à la fonction ELI5, comprenez les résultats complexes sous une forme adaptée à un public non expert. |
|
- **Traitement d'image avancé** : Explorez l'image téléchargée avec des outils comme l'inversion pour une visualisation plus claire. |
|
|
|
### Cas d'utilisation : |
|
- **Éducation médicale** : Destiné aux étudiants en radiologie, cet outil aide à se familiariser avec l'interprétation des images diagnostiques. |
|
- **Support clinique** : Bien que non conçu pour remplacer un professionnel de santé, cet assistant peut fournir des indications utiles pour guider les analyses. |
|
- **Recherche et apprentissage** : Une plateforme idéale pour expérimenter et apprendre l'impact de l'IA dans le domaine médical. |
|
|
|
### Technologie utilisée : |
|
- **Modèle d'IA puissant** : L'IA utilise la technologie avancée de Llama 3.2 90B Vision, spécialisée dans l'analyse d'images complexes. |
|
- **Interaction intuitive** : Développé avec Python et Streamlit pour une interface simple et conviviale. |
|
|
|
|
|
**⚠️ Avertissement** : |
|
- Cet assistant n'est pas un outil médical certifié et ne remplace en aucun cas l'avis d'un médecin ou d'un spécialiste. Il est destiné à des fins éducatives et de support. Consultez toujours un professionnel de santé pour un diagnostic ou une décision médicale. |
|
""") |
|
|
|
|
|
clinical_info = st.text_area( |
|
"Renseignements cliniques du patient (facultatif)", |
|
placeholder="Exemple : Patient présentant une douleur thoracique depuis 3 jours." |
|
) |
|
|
|
|
|
st.session_state['clinical_info'] = clinical_info |
|
|
|
|
|
st.markdown("### 📂 Téléchargez une image médicale") |
|
uploaded_file = st.file_uploader("Formats acceptés : JPG, JPEG, PNG", type=["jpg", "jpeg", "png"]) |
|
|
|
|
|
if uploaded_file is not None: |
|
with tempfile.NamedTemporaryFile(delete=False, suffix=os.path.splitext(uploaded_file.name)[1]) as tmp_file: |
|
tmp_file.write(uploaded_file.getvalue()) |
|
st.session_state['filename'] = tmp_file.name |
|
|
|
st.image(uploaded_file, caption='Image Téléchargée') |
|
|
|
|
|
image = Image.open(uploaded_file) |
|
|
|
|
|
st.markdown("### 🔍 Explorez l'image") |
|
col1, col2, col3 = st.columns([1, 2, 1]) |
|
col1.write("") |
|
col3.write("") |
|
col1.write("") |
|
col3.write("") |
|
if st.button("Afficher l'image en négatif"): |
|
|
|
negative_image = ImageOps.invert(image.convert("RGB")) |
|
|
|
|
|
st.subheader("Image en négatif :") |
|
st.image(negative_image, caption="Image en négatif") |
|
col1, col2, col3 = st.columns([1, 2, 1]) |
|
col1.write("") |
|
col3.write("") |
|
col1.write("") |
|
col3.write("") |
|
|
|
|
|
if st.button("Analyse l'Image"): |
|
if 'filename' in st.session_state and os.path.exists(st.session_state['filename']): |
|
with st.spinner("Analyse en cours... Veuillez patienter."): |
|
st.session_state['result'] = call_groq_model_for_analysis( |
|
st.session_state['filename'], |
|
st.session_state['clinical_info'] |
|
) |
|
st.success("Analyse terminée avec succès !") |
|
st.markdown(st.session_state['result'], unsafe_allow_html=True) |
|
os.unlink(st.session_state['filename']) |
|
|
|
|
|
|
|
st.markdown("### 🤓 Explication Simplifiée") |
|
if 'result' in st.session_state and st.session_state['result']: |
|
st.info("Ci-dessous, vous avez une option pour ELI5 afin de comprendre en termes simples.") |
|
if st.radio("ELI5 - Explique-moi comme si j'avais 5 ans", ('NON', 'OUI')) == 'OUI': |
|
st.markdown("_Voici une explication simplifiée pour les non-initiés._") |
|
simplified_explanation = chat_eli(st.session_state['result']) |
|
st.markdown(simplified_explanation, unsafe_allow_html=True) |
|
|
|
|
|
st.markdown(""" |
|
<hr> |
|
<footer style="text-align: center; font-size: 0.9em;"> |
|
© 2024 - Le Radiologue Virtuel | Propulsé par M. ADJOUMANI |
|
</footer> |
|
""", unsafe_allow_html=True) |