README.md

---
base_model:
- SousiOmine/Kuroiso-CR-7B-20250124
license: apache-2.0
language:
- ja
---

SousiOmine/Kuroiso-CR-7B-20250124
のGGUF量子化版です。  
チャットモデルではないため、[モデルの説明](https://huggingface.co/SousiOmine/Kuroiso-CR-7B-20250124)を読んでお試しください。  



以下の例はあまりしっかり検証していないので間違っていたらごめんなさい。  

# Ollama Modelfile
```
FROM hf.co/SousiOmine/Kuroiso-CR-7B-20250124-GGUF:Q5_K_M
PARAMETER num_ctx 4096

SYSTEM "あなたには要求と回答から論理的思考を作成する任務が与えられています。万能なアシスタントがQueryタグ内の質問を受け、Answerタグ内の回答をするまでの思考をChain-of-Thought形式で記述してください。思考は<Thought>タグ内に記述してください。"

TEMPLATE """{{- if .System }}<|im_start|>system
{{ .System }}<|im_end|>
{{ end }}{{ if .Prompt }}<|im_start|>user
{{ .Prompt }}<|im_end|>
{{ end }}<|im_start|>assistant
{{ end }}{{ .Response }}{{ if .Response }}<|im_end|>{{ end }}"""
```

# Ollama+Pythonのサンプルコード
```
from openai import OpenAI

client = OpenAI(
    base_url = 'http://localhost:11434/v1',
    api_key='ollama', # required, but unused
)

query_template = """<Query>
{}
</Query>
<Answer>
{}
</Answer>"""

query = "こんにちは"
answer = "こんにちは！今日はいかがお過ごしですか？"

response = client.chat.completions.create(
  model="Kuroiso-CR-7B-20250124",
  messages=[
    {"role": "user", "content": query_template.format(query, answer)},
  ]
)
print(response.choices[0].message.content)
```