README.md

---
license: mit
language:
- ru
tags:
  - natural-language-processing
  - poetry-generation
  - text-generation
  - torch
  - lstm
---

This model was trained using [Andrej Karpathy's code](https://github.com/karpathy/char-rnn) on texts by the Russian poet Nikolay Nekrasov. Models of this type well represent individual poetic style.

Model was trained with size 512 and 3 layers, dropout 0.5.

There are 2 checkpoints of this model presented in the repository. One after 44 epochs with loss 0.9298, the other after 50 epochs with loss 0.9312. These metrics are in the file name.

## Usage

The procedure for installing the required software is described [by Karpathy](https://github.com/karpathy/char-rnn), torch is required, the code is written in lua. Be careful, versions of libraries written many years ago are used.

```bash
th sample.lua lm_lstm_epoch50.00_0.9312
```

## Train data

Train data is free and inclded in this repository as `input.txt` file.

## What for?

In an era of winning Transformers, ancient RNN models seem archaic. But I see that they still work better than modern architectures with such important categories from the humanities point of view as poetic style.

## Publication

The texts that produced this model were used in [an experiment](https://arxiv.org/abs/2306.02771) to define poetic style.


## Samples

### epoch 44, loss 0.9298, temperature 0.3

```
Солнце и молодой невеждой,
Под небо молодой не должна -
Не верит он под головой,
И в ней под небо подобно и полна,
Под ней подводы домой,
Подавленной весь дом,
Под обольщается в ней показалась,
И в дому подзабыл он не свой не порок
И в огорченный мой день,
Но подавно воспевал.
Слышно заперлась на белой доме
И подступит они в доме поднимали,
Добрая лазурные порывой
```

### epoch 44,_loss 0.9298,_temperature 0.6

```
Каков был домой на короне,
Вот и демон добрый свободы:
Под небо досталося мальчики,
На слове не спали,
А ты ей старуха не таи...
Да под ним получше любила,
Что покойника к нему не трудно волнуется,
А проснусь за коробейников,
Не ведали в том же вечера,
И насмешит и под полной братом
К такой-то сосну справлялся в семьи,
И дума уж безгласный красной,
Как в покой продавал либерал.
```

### epoch 50.0,_loss 0.9312,_temperature 0.5

```
Видит живет и поймет,
Кто было солнце молодых,
Но меж тем не видал до крови,
На обороте дело покойно.
Кто ж ты может быть, наши места!
Не против больной лишь взор их волна,
Не спал в наш могила мне занималась,
Но не погляди над каждой дороги
Проводил до седоков подкосили,
Не найдет в село весь могила,
Которым пропустился с тех пор,
Когда в песенке моей поэта
Словно как подставляющих конь,
Вольготно нет весело,
Весь нас бранит дед на своем
И как достал веселье предо мной
```

### epoch 50.0,_loss 0.9312,_temperature 0.7

```
Вздрогнула ты смешно души
Его сон кланяясь:
Не продавал и мужик!
Его не тронули колосья
И каратель держала странно,
Без кашка и подлецитет,
В Никиторах на гроб... Не пожалели светлый,
От барин мой труд и некрасного
Восторг ревностью тебя предела
В домах тел и светских жизни ногам.
В картину подивился. "Воспоминание
Ямщик Омарились!"-
По паратикам, бледность отвечай
И дорога тут избрал:
Как книги не часто одна всё наживал.
У ком и дышат песня облеченной.
```

## BibTeX entry and citation info

```
@misc{orekhov2023identifying,
      title={Identifying the style by a qualified reader on a short fragment of generated poetry}, 
      author={Boris Orekhov},
      year={2023},
      eprint={2306.02771},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}
```