README.md

---
library_name: transformers
license: gemma
language:
- en
base_model:
- google/gemma-2-9b
---

**Authors**: aolans


# Model Card for gemma-2-9b_q4

<!-- Provide a quick summary of what the model is/does. -->

本モデルは、[google/gemma-2-9b](https://huggingface.co/google/gemma-2-9b) をUnslothを使用して量子化しただけのモデルです。  

Unsloth版の「[Unsloth/gemma-2-9b](https://huggingface.co/Unsloth/gemma-2-9b)」が適用されないよう  
ローカルにオリジナル版 google/gemma-2-9b をダウンロードした後に加工しています。  

追加学習のベースとして利用します。



## Model Information

詳細は本家ページをご参照ください ⇒　[google/gemma-2-9b](https://huggingface.co/google/gemma-2-9b)



### Usage

```sh
pip install unsloth
pip uninstall unsloth -y && pip install --upgrade --no-cache-dir "unsloth[colab-new] @ git+https://github.com/unslothai/unsloth.git"
```


```python
from unsloth import FastLanguageModel

# unslothのFastLanguageModelで元のモデルをロード。
dtype = None # Noneにしておけば自動で設定
load_in_4bit = True # 今回は13Bモデルを扱うためTrue

model, tokenizer = FastLanguageModel.from_pretrained(
    model_name="aolans/gemma-2-9b_q4",
    dtype=dtype,
    load_in_4bit=load_in_4bit,
    trust_remote_code=True,
)

# 推論するためにモデルのモードを変更
FastLanguageModel.for_inference(model)

input_text = "Write me a poem about Machine Learning."
input_ids = tokenizer(input_text, return_tensors="pt").to("cuda")

outputs = model.generate(**input_ids, max_new_tokens=32)
print(tokenizer.decode(outputs[0]))
```


This gemma2 model was trained 2x faster with [Unsloth](https://github.com/unslothai/unsloth) and Huggingface's TRL library.

[<img src="https://raw.githubusercontent.com/unslothai/unsloth/main/images/unsloth%20made%20with%20love.png" width="200"/>](https://github.com/unslothai/unsloth)