|
|
--- |
|
|
library_name: transformers |
|
|
tags: |
|
|
- trl |
|
|
- reward-trainer |
|
|
--- |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
## Model Details |
|
|
|
|
|
### Model Description |
|
|
|
|
|
Модель обучена на датасете Human-Like-DPO-Dataset в качестве модели награды для PPO для улучшения эмоционального интеллекта AI. Дело в том, что LLM часто отвечают достаточно роботизированно и холодно, поэтому сделать их ответы более эмоционально насыщенными и человечными -- одна из важных задач современного NLP. |
|
|
|
|
|
Поэтому в рамках домашнего задания нужно было обучить PPO модель для элаймента на эту задачу, для чего и была сначала обучена эта reward model. |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
### Results |
|
|
|
|
|
Генерации |
|
|
|
|
|
"😂 Ah, no I haven't! I'm dying to know, what's the meme about? Is it a funny cat or a ridiculous situation? Spill the beans! 🤣" |
|
|
|
|
|
модель дала награду ~18, а генерации |
|
|
|
|
|
"I'm an artificial intelligence language model, I don't have personal experiences or opinions. However, I can provide you with information on highly-rated and critically acclaimed films, as well as recommendations based on specific genres or themes. Would you like me to suggest some notable movies or discuss a particular genre of interest?" |
|
|
|
|
|
-14.5, что говорит о том, что она действительно научилась различать плохие ответы от хороших в терминах нашей задачи. |
|
|
|
|
|
#### Summary |
|
|
Как видим, модель действительно обучилась выдавать награды под преференсы пользователей |
