Update README.md
Browse files
README.md
CHANGED
@@ -36,6 +36,8 @@ tags:
|
|
36 |
* Linear_head + softmax
|
37 |
|
38 |
Подробнее можно увидеть на следующей схеме:
|
|
|
|
|
39 |
|
40 |
|
41 |
- **Обучение и параметры:**
|
@@ -44,24 +46,26 @@ tags:
|
|
44 |
1) optimizer = AdamW(learning_rate=3e-4, weight_decay=0.01)
|
45 |
2) scheduler - Linear schedule with warmup
|
46 |
3) loss = cross_entropy
|
47 |
-
4)
|
48 |
|
49 |
## Данные
|
50 |
|
51 |
Модель обучалась на следующем датасете:
|
52 |
|
53 |
-
-
|
54 |
-
|
55 |
-
_
|
56 |
|
57 |
-
|
58 |
|
59 |
-
|
60 |
|
61 |
-
|
62 |
-
|
63 |
|
64 |
-
|
|
|
|
|
65 |
|
66 |
## Примеры генерации
|
67 |
|
|
|
36 |
* Linear_head + softmax
|
37 |
|
38 |
Подробнее можно увидеть на следующей схеме:
|
39 |
+
|
40 |
+
|
41 |
|
42 |
|
43 |
- **Обучение и параметры:**
|
|
|
46 |
1) optimizer = AdamW(learning_rate=3e-4, weight_decay=0.01)
|
47 |
2) scheduler - Linear schedule with warmup
|
48 |
3) loss = cross_entropy
|
49 |
+
4) Num_steps = 10_000, validation_step - every 1000 steps.
|
50 |
|
51 |
## Данные
|
52 |
|
53 |
Модель обучалась на следующем датасете:
|
54 |
|
55 |
+
- **Russian_jokes:**
|
56 |
+
Ссылка: https://huggingface.co/datasets/IgorVolochay/russian_jokes
|
57 |
+
_Пример строки:_ "- Зять, а ты знаешь, где найти того мужчину, который спас меня, когда я тонула?- Да, он уже приходил ко мне извиняться!"
|
58 |
|
59 |
+
Во время обучения выборка была поделена на train и test соответственно: 135497 строк и 15056 строк.
|
60 |
|
61 |
+
## Оценка качества (Quality Report)
|
62 |
|
63 |
+
Для оценки качества была использована метрика perplexity:
|
64 |
+
(Лучшее минимальное значение)
|
65 |
|
66 |
+
- **Perplexity 'nano':** 4.250
|
67 |
+
- **Perplexity 'mini':** 4.193
|
68 |
+
- **Perplexity 'small':** 4.184
|
69 |
|
70 |
## Примеры генерации
|
71 |
|