zlsl commited on
Commit
325abaa
·
1 Parent(s): 624a32f

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +14 -0
README.md CHANGED
@@ -14,6 +14,20 @@ tags:
14
  За счёт того, что использовались и фанфики по вселенной Вахи, модель может немножко в кроссовер.
15
 
16
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
17
  Пример:
18
  ====
19
 
 
14
  За счёт того, что использовались и фанфики по вселенной Вахи, модель может немножко в кроссовер.
15
 
16
 
17
+
18
+ ## Для пользователей text-generation-webui
19
+ В инструменте поломана работа с GPT-2, GPTJ, GPT-NEO и аналогичными модлями, неверно загружается токенизер.
20
+ Ошибка такая:<br>
21
+ >eos_token_id = eos_token_id[0]
22
+ >IndexError: list index out of range
23
+
24
+ Исправляется легко, в файл modules/models.py в функцию load_tokenizer() надо добавить строчку<br>
25
+ <code>tokenizer.eos_token_id = 2</code><br>
26
+ перед<br>
27
+ <code>return tokenizer</code>
28
+
29
+
30
+
31
  Пример:
32
  ====
33