Lexu3A commited on
Commit
16255ac
·
verified ·
1 Parent(s): bce1cb5

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +13 -9
README.md CHANGED
@@ -36,6 +36,8 @@ tags:
36
  * Linear_head + softmax
37
 
38
  Подробнее можно увидеть на следующей схеме:
 
 
39
 
40
 
41
  - **Обучение и параметры:**
@@ -44,24 +46,26 @@ tags:
44
  1) optimizer = AdamW(learning_rate=3e-4, weight_decay=0.01)
45
  2) scheduler - Linear schedule with warmup
46
  3) loss = cross_entropy
47
- 4)
48
 
49
  ## Данные
50
 
51
  Модель обучалась на следующем датасете:
52
 
53
- - **Название датасета:**
54
- Краткое описание датасета, ссылка на источник (если применимо).
55
- _Пример:_ обучено на выборке новостных статей с [название ресурса/источника].
56
 
57
- ## Оценка качества (Quality Report)
58
 
59
- Для оценки модели были использованы следующие метрики:
60
 
61
- - **Perplexity:** 12.34 (примерное значение)
62
- - **BLEU/ROUGE:** Если применимо, укажите метрики и результаты.
63
 
64
- При наличии автоматизированного Quality Report можно добавить ссылку на ноутбук или встроить результаты тестирования.
 
 
65
 
66
  ## Примеры генерации
67
 
 
36
  * Linear_head + softmax
37
 
38
  Подробнее можно увидеть на следующей схеме:
39
+
40
+
41
 
42
 
43
  - **Обучение и параметры:**
 
46
  1) optimizer = AdamW(learning_rate=3e-4, weight_decay=0.01)
47
  2) scheduler - Linear schedule with warmup
48
  3) loss = cross_entropy
49
+ 4) Num_steps = 10_000, validation_step - every 1000 steps.
50
 
51
  ## Данные
52
 
53
  Модель обучалась на следующем датасете:
54
 
55
+ - **Russian_jokes:**
56
+ Ссылка: https://huggingface.co/datasets/IgorVolochay/russian_jokes
57
+ _Пример строки:_ "- Зять, а ты знаешь, где найти того мужчину, который спас меня, когда я тонула?- Да, он уже приходил ко мне извиняться!"
58
 
59
+ Во время обучения выборка была поделена на train и test соответственно: 135497 строк и 15056 строк.
60
 
61
+ ## Оценка качества (Quality Report)
62
 
63
+ Для оценки качества была использована метрика perplexity:
64
+ (Лучшее минимальное значение)
65
 
66
+ - **Perplexity 'nano':** 4.250
67
+ - **Perplexity 'mini':** 4.193
68
+ - **Perplexity 'small':** 4.184
69
 
70
  ## Примеры генерации
71