---
base_model: llm-jp/llm-jp-3-13b
tags:
- text-generation-inference
- transformers
- unsloth
- llama
- trl
license: apache-2.0
language:
- en
---

# Uploaded Model

- **Developed by:** Kohei0614
- **License:** apache-2.0
- **Finetuned from:** [llm-jp/llm-jp-3-13b](https://huggingface.co/llm-jp/llm-jp-3-13b)

This LLaMA-based model was finetuned using [Unsloth](https://github.com/unslothai/unsloth) and Hugging Face's TRL library, enabling 2x faster training even on resource-constrained GPUs like T4s on Google Colab.

[<img src="https://raw.githubusercontent.com/unslothai/unsloth/main/images/unsloth%20made%20with%20love.png" width="200"/>](https://github.com/unslothai/unsloth)

---

## 概要

このリポジトリは、最終課題コンペ用に大規模言語モデル（LLM）の微調整(Fine-tuning)を行うためのテンプレートをベースにしています。  
`unsloth` と `TRL` を用いることで、Google Colabで無料利用可能なT4 GPU上でも効率的かつ高速なFine-tuningが可能となりました。

### 特徴

- **Google Colab対応:** `unsloth`により、複雑な環境構築なしでColab上での実行が可能。
- **低リソース対応:** 4bit量子化やLoRAなどを組み合わせることで、メモリ制約のある環境でも学習が可能。
- **シンプルなAPI:** `FastLanguageModel`や`SFTTrainer`を利用した簡潔なコード構成。

---

## 環境構築手順 (ローカル環境例)

※Google Colab利用者は不要です。

```bash
# Miniforge3インストール
wget "https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-$(uname)-$(uname -m).sh"
bash Miniforge3-$(uname)-$(uname -m).sh

# PATH設定
export PATH=/root/miniforge3/bin:$PATH
conda init
# 新ターミナルを起動

conda create --name unsloth_env python=3.10 pytorch-cuda=12.1 pytorch cudatoolkit xformers -c pytorch -c nvidia -c xformers -y
conda activate unsloth_env

pip install "unsloth[colab-new] @ git+https://github.com/unslothai/unsloth.git"
pip install --no-deps "trl<0.9.0" peft accelerate bitsandbytes

# Jupyter Kernel設定
conda install -c conda-forge ipykernel
python -m ipykernel install --user --name=unsloth_env --display-name "Python (unsloth_env)"