Update README.md
Browse files
README.md
CHANGED
@@ -40,7 +40,7 @@ Uwaga!
|
|
40 |
* Model NIE jest CENZUROWANY. To wersja do zabawy. Nie została ujarzmiona.
|
41 |
* Model będzie dalej rozwijany ponieważ eksperymentuję z a. kolejnymi wersjami datasetu, b. model jest świetną bazą do testowania różnych technik finetunowania (LoRA, QLoRA; DPO, ORPO itd.)
|
42 |
* Udostępniłem go spontanicznie by użytkownicy mogli go używać i sprawdzać jakość Llama 3 ale w kontekście języka polskiego.
|
43 |
-
* Po informacji, że baza była trenowana na 15T tokenów (tylko 5% nie angielskich) uznałem, że to
|
44 |
|
45 |
### Sposób kodowania nazwy modelu
|
46 |
* Nazwa modelu bazowego: Llama-3-8B
|
|
|
40 |
* Model NIE jest CENZUROWANY. To wersja do zabawy. Nie została ujarzmiona.
|
41 |
* Model będzie dalej rozwijany ponieważ eksperymentuję z a. kolejnymi wersjami datasetu, b. model jest świetną bazą do testowania różnych technik finetunowania (LoRA, QLoRA; DPO, ORPO itd.)
|
42 |
* Udostępniłem go spontanicznie by użytkownicy mogli go używać i sprawdzać jakość Llama 3 ale w kontekście języka polskiego.
|
43 |
+
* Po informacji, że baza była trenowana na 15T tokenów (tylko 5% nie angielskich) uznałem, że to świetny model do finetuningu. Być może lekkie dotrenowanie modelu za pomocą contingued-pretraining da jeszcze większy uzysk.
|
44 |
|
45 |
### Sposób kodowania nazwy modelu
|
46 |
* Nazwa modelu bazowego: Llama-3-8B
|