Update README.md
Browse files
README.md
CHANGED
@@ -14,6 +14,20 @@ tags:
|
|
14 |
За счёт того, что использовались и фанфики по вселенной Вахи, модель может немножко в кроссовер.
|
15 |
|
16 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
17 |
Пример:
|
18 |
====
|
19 |
|
|
|
14 |
За счёт того, что использовались и фанфики по вселенной Вахи, модель может немножко в кроссовер.
|
15 |
|
16 |
|
17 |
+
|
18 |
+
## Для пользователей text-generation-webui
|
19 |
+
В инструменте поломана работа с GPT-2, GPTJ, GPT-NEO и аналогичными модлями, неверно загружается токенизер.
|
20 |
+
Ошибка такая:<br>
|
21 |
+
>eos_token_id = eos_token_id[0]
|
22 |
+
>IndexError: list index out of range
|
23 |
+
|
24 |
+
Исправляется легко, в файл modules/models.py в функцию load_tokenizer() надо добавить строчку<br>
|
25 |
+
<code>tokenizer.eos_token_id = 2</code><br>
|
26 |
+
перед<br>
|
27 |
+
<code>return tokenizer</code>
|
28 |
+
|
29 |
+
|
30 |
+
|
31 |
Пример:
|
32 |
====
|
33 |
|