Update README.md

README.md

@@ -1,9 +1,69 @@
 ---
+language: ru
+license: mit
 tags:
-- model_hub_mixin
-- pytorch_model_hub_mixin
+  - model_hub_mixin
+  - pytorch_model_hub_mixin
+  - language-modeling
+  - text-generation
 ---
 
-This model has been pushed to the Hub using the [PytorchModelHubMixin](https://huggingface.co/docs/huggingface_hub/package_reference/mixins#huggingface_hub.PyTorchModelHubMixin) integration:
-- Library: [More Information Needed]
-- Docs: [More Information Needed]
+# Название модели
+Модель трансформер, с реализованными блоками GQA, SwiGLU, ALiBi. 
+
+## Описание
+
+Эта модель была обучена на датасете с анекдотами на русском языке. Модель может решать следующие задачи:
+1. Генерация новых последовательностей.
+2. Автодополнение последовательностей.
+3. и другие задачи обработки естественного языка.
+
+
+## Архитектура 
+
+- **Tokenizer:**  
+  В качестве токенайзера используется ByteLevel BPE, с vocab_size = 1024.
+  
+- **Структура модели:**
+  Модель поддерживает несколько размеров: "nano", "mini", "small", количество параметров соответственно: 0.53M, 11.43M, 86.62M.
+
+  Модель состоит из следующих блоков:
+
+  * dropout
+  * RMS Norm
+  * GQA + ALiBi
+  * SwiGLU
+  * Linear_head + softmax
+
+  Подробнее можно увидеть на следующей схеме: 
+  
+  
+- **Обучение и параметры:**  
+  Во время обучения были использованы следующие параметры:
+
+  1) optimizer = AdamW(learning_rate=3e-4, weight_decay=0.01)
+  2) scheduler  - Linear schedule with warmup
+  3) loss = cross_entropy
+  4) 
+
+## Данные
+
+Модель обучалась на следующем датасете:
+
+- **Название датасета:**  
+  Краткое описание датасета, ссылка на источник (если применимо).  
+  _Пример:_ обучено на выборке новостных статей с [название ресурса/источника].
+
+## Оценка качества (Quality Report)
+
+Для оценки модели были использованы следующие метрики:
+
+- **Perplexity:** 12.34 (примерное значение)
+- **BLEU/ROUGE:** Если применимо, укажите метрики и результаты.
+
+При наличии автоматизированного Quality Report можно добавить ссылку на ноутбук или встроить результаты тестирования.
+
+## Примеры генерации
+
+**Пример 1: Завершение предложения**
+