|
|
--- |
|
|
license: mit |
|
|
language: |
|
|
- fr |
|
|
pipeline_tag: text-generation |
|
|
datasets: |
|
|
- MaxLSB/LeCarnet |
|
|
--- |
|
|
Model trained on [LeCarnet](https://huggingface.co/datasets/MaxLSB/LeCarnet) Dataset. |
|
|
|
|
|
All data generation, training, and evaluation pipelines are available on [Github](https://github.com/MaxLSB/LeCarnet). |
|
|
|
|
|
The model has only been trained for 5 epochs and can be improved with further training on the dataset. It can also make mistakes. |
|
|
|
|
|
**Final val loss (5 epochs): 1.32557** |
|
|
|
|
|
--- |
|
|
# Example of Generation |
|
|
|
|
|
``` |
|
|
Il était une fois un petit lapin nommé Lulu. Lulu aimait beaucoup jouer dans la forêt. |
|
|
Un jour, il trouva un vieux chapeau chiffonné près d'un arbre. |
|
|
"Oh, quel beau chapeau !" s'exclama Lulu. "Je vais le porter et le rendre encore plus beau." |
|
|
|
|
|
Lulu courut chez lui pour montrer son nouveau chapeau à ses amis. |
|
|
Mais en chemin, il rencontra un renard. Le renard voulait le chapeau pour lui. |
|
|
"Donne-moi ce chapeau, Lulu !" dit le renard. Lulu répondit : "Non, je l'ai trouvé en premier !" |
|
|
Le renard dit : "Non !" et Mimi, en colère, décidèrent de se cacher dans un buisson. |
|
|
|
|
|
Finalement, le renard abandonna et partit. Lulu et ses amis étaient très contents. |
|
|
Ils partagèrent le chapeau et passèrent une belle journée ensemble. |
|
|
Lulu était heureux d'avoir trouvé une solution et d'être plus courageux. |
|
|
``` |
|
|
|
|
|
--- |
|
|
# Example Code |
|
|
|
|
|
``` |
|
|
from transformers import AutoModelForCausalLM, AutoTokenizer |
|
|
|
|
|
model = AutoModelForCausalLM.from_pretrained("MaxLSB/LeCarnet-3M") |
|
|
tokenizer = AutoTokenizer.from_pretrained("MaxLSB/LeCarnet-3M") |
|
|
|
|
|
prompt = "Il était une fois" |
|
|
input_ids = tokenizer(prompt, return_tensors="pt").input_ids |
|
|
|
|
|
output = model.generate(input_ids, max_length=512, temperature=0.4) |
|
|
print(tokenizer.decode(output[0], skip_special_tokens=True)) |
|
|
``` |
