|
---
|
|
language: fr
|
|
tags:
|
|
- french
|
|
- camembert
|
|
- nlp
|
|
- language-model
|
|
- transformers
|
|
- oscar
|
|
- moscar
|
|
license: mit
|
|
datasets:
|
|
- oscar
|
|
- moscar
|
|
metrics:
|
|
- accuracy
|
|
base_model:
|
|
- almanach/camembert-base
|
|
---
|
|
|
|
# CamemBERT-Gpt POIDS UNIQUEMENT |
|
|
|
Ce dépôt contient les poids et checkpoints des différentes itérations d'entraînement de notre réimplémentation de CamemBERT, réalisée dans le cadre d'un projet à Sorbonne Université. Notre objectif est de reproduire les résultats de l'article de recherche original en utilisant l'architecture RoBERTa. |
|
|
|
## Modèle de référence |
|
|
|
Notre implémentation vise à répliquer le modèle CamemBERT original, disponible sur Hugging Face : [camembert-base](https://huggingface.co/camembert-base) |
|
|
|
## Structure du Projet |
|
|
|
``` |
|
cam_runX/ |
|
├── checkpoints/ |
|
│ ├── checkpoint-XXX/ |
|
│ └── checkpoint-XXX/ |
|
├── weights/ |
|
└── model_info.txt |
|
``` |
|
|
|
## Description des Runs d'Entraînement |
|
|
|
### cam_run24 |
|
- **Dataset**: [mOSCAR](https://huggingface.co/datasets/oscar-corpus/mOSCAR) (portion française) |
|
- **Taille des données**: 1 Go de texte |
|
- **Description**: Version d'entraînement avec un sous-ensemble contrôlé des données |
|
|
|
### cam_run30 |
|
- **Dataset**: [OSCAR](https://huggingface.co/datasets/oscar-corpus/OSCAR-2301) (portion française) |
|
- **Taille des données**: 100 Go de texte |
|
- **Description**: Version d'entraînement complète, reproduisant les conditions de l'article original |
|
|
|
## Données d'Entraînement |
|
|
|
Notre approche utilise exclusivement les portions françaises des datasets suivants : |
|
|
|
- **mOSCAR**: Version plus récente et mieux filtrée du corpus OSCAR |
|
- [mOSCAR sur Hugging Face](https://huggingface.co/datasets/oscar-corpus/mOSCAR) |
|
- Utilisé pour le run expérimental (cam_run24) |
|
|
|
- **OSCAR**: Common Crawl filtré pour le français |
|
- [OSCAR sur Hugging Face](https://huggingface.co/datasets/oscar-corpus/OSCAR-2301) |
|
- Utilisé pour la réplication fidèle (cam_run30) |
|
- Même dataset que celui utilisé dans l'article original |
|
|
|
## Paramètres d'Entraînement |
|
|
|
Les checkpoints sont sauvegardés à intervalles réguliers pendant l'entraînement. Chaque dossier représente une session d'entraînement complète avec ses propres paramètres et résultats. |
|
|
|
## Repository GitHub associé |
|
|
|
Le code source complet et la documentation détaillée sont disponibles sur notre [repository GitHub](https://github.com/CocoLng/CamemBERT-Gpt). |
|
|
|
## Citations |
|
|
|
```bibtex |
|
@inproceedings{martin2020camembert, |
|
title={CamemBERT: a Tasty French Language Model}, |
|
author={Martin, Louis and Muller, Benjamin and Ortiz Suárez, Pedro Javier and Dupont, Yoann and Romary, Laurent and de la Clergerie, Éric Villemonte and Seddah, Djamé and Sagot, Benoît}, |
|
booktitle={Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics}, |
|
year={2020} |
|
} |
|
``` |
|
|
|
## Contact |
|
|
|
Pour toute question concernant ce modèle ou son utilisation, veuillez ouvrir une issue sur le [repository GitHub](https://github.com/CocoLng/CamemBERT-Gpt). |
