MisterAI commited on
Commit
f6381f8
·
verified ·
1 Parent(s): ae354c0

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +13 -6
app.py CHANGED
@@ -48,6 +48,7 @@ def generate_response(input_text):
48
  # data_collator = DataCollatorForLanguageModeling(tokenizer=tokenizer, mlm=False)
49
 
50
 
 
51
  def fine_tune_model(dataset_path, dataset_file, epochs, batch_size, prefix):
52
  import json # Assurez-vous que json est importé
53
 
@@ -83,9 +84,7 @@ def fine_tune_model(dataset_path, dataset_file, epochs, batch_size, prefix):
83
  per_device_train_batch_size=batch_size,
84
  save_steps=10_000,
85
  save_total_limit=2,
86
- push_to_hub=True,
87
- hub_model_id=f"{prefix}_{model_name.split('/')[-1]}",
88
- hub_strategy="checkpoint",
89
  hub_token=hf_token,
90
  )
91
 
@@ -103,12 +102,13 @@ def fine_tune_model(dataset_path, dataset_file, epochs, batch_size, prefix):
103
  trainer.save_model(f"./{prefix}_{model_name.split('/')[-1]}")
104
  tokenizer.save_pretrained(f"./{prefix}_{model_name.split('/')[-1]}")
105
 
106
- # Push vers Hugging Face Hub
107
  api = HfApi()
108
  api.upload_folder(
109
  folder_path=f"./{prefix}_{model_name.split('/')[-1]}",
110
- repo_id=f"{prefix}_{model_name.split('/')[-1]}",
111
- repo_type="model"
 
112
  )
113
 
114
  return "Fine-tuning terminé et modèle sauvegardé."
@@ -119,6 +119,13 @@ def fine_tune_model(dataset_path, dataset_file, epochs, batch_size, prefix):
119
 
120
 
121
 
 
 
 
 
 
 
 
122
  # Interface Gradio
123
  with gr.Blocks() as demo:
124
  with gr.Tab("Chatbot"):
 
48
  # data_collator = DataCollatorForLanguageModeling(tokenizer=tokenizer, mlm=False)
49
 
50
 
51
+
52
  def fine_tune_model(dataset_path, dataset_file, epochs, batch_size, prefix):
53
  import json # Assurez-vous que json est importé
54
 
 
84
  per_device_train_batch_size=batch_size,
85
  save_steps=10_000,
86
  save_total_limit=2,
87
+ push_to_hub=False, # Désactiver la création automatique de repo
 
 
88
  hub_token=hf_token,
89
  )
90
 
 
102
  trainer.save_model(f"./{prefix}_{model_name.split('/')[-1]}")
103
  tokenizer.save_pretrained(f"./{prefix}_{model_name.split('/')[-1]}")
104
 
105
+ # Push vers Hugging Face Hub avec le bon repo_id
106
  api = HfApi()
107
  api.upload_folder(
108
  folder_path=f"./{prefix}_{model_name.split('/')[-1]}",
109
+ repo_id=model_name, # Utiliser le même repo_id que le modèle original
110
+ repo_type="model",
111
+ token=hf_token,
112
  )
113
 
114
  return "Fine-tuning terminé et modèle sauvegardé."
 
119
 
120
 
121
 
122
+
123
+
124
+
125
+
126
+
127
+
128
+
129
  # Interface Gradio
130
  with gr.Blocks() as demo:
131
  with gr.Tab("Chatbot"):