readme_content = """

2_PRYMMAL-ECE-2B-SLERP-V2-finetuned

This model has been produced by:

• LALAIN Youri, engineering student at French Engineering School ECE
• RAGE LILIAN, engineering student at French Engineering School ECE

Description

Ce modèle, 2_PRYMMAL-ECE-2B-SLERP-V2-finetuned, est un modèle de langage pré-entraîné et affiné (fine-tuned) pour des tâches spécifiques en compréhension et génération de texte. Il a été optimisé pour fonctionner efficacement sur des données textuelles complexes, telles que des questions-réponses et des descriptions détaillées.

Détails du modèle

• Architecture : Basé sur [Base Model Architecture] (remplace par le nom de l'architecture si applicable, ex. Llama, GPT, etc.).
• Fine-tuning : Réalisé sur un jeu de données contenant des questions et réponses techniques liées à des domaines spécifiques.
• Format : Enregistré au format safetensors pour garantir une utilisation sécurisée et rapide.

Caractéristiques

• Nombre de paramètres : 2B
• Tâches supportées :
  • Génération de texte
  • Questions-réponses
  • Résumé de documents
• Entraînement :
  • Optimisé sur 3 epochs avec des pertes en diminution constante.
  • Utilisation de bfloat16 pour une meilleure performance GPU.

Utilisation

Chargement du modèle

Pour utiliser ce modèle dans un projet Python avec Hugging Face :

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "Lil-R/2_PRYMMAL-ECE-2B-SLERP-V2-finetuned"

# Charger le modèle et le tokenizer
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)

# Exemple d'utilisation
inputs = tokenizer("Quelle est la mission d'Ariane 5 ?", return_tensors="pt")
outputs = model.generate(**inputs)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

Téléchargement direct

Le modèle peut être téléchargé directement depuis Hugging Face.

Performances

• Training Loss : Diminue de 2.1653 à 1.1291 sur 3 epochs.
• Validation Loss : Diminue de 1.9553 à 1.5075, montrant une bonne généralisation.

Licence

Ce modèle est distribué sous une licence ouverte. "Apache 2.0"