GGUF量子化により出力が途中で中断してしまう不具合があります。使用は推奨しません。

Ollama Modelfile


FROM hf.co/SousiOmine/minoshiro-v0.3-7B_GGUF:Q5_K_M

PARAMETER num_ctx 8192

SYSTEM "以下は、タスクを説明する指示です。要求を適切に満たす応答を書きなさい。"

TEMPLATE """{{ if .System }}<s>{{ .System }}

{{ end }}{{ if .Prompt }}### 指示:
{{ .Prompt }}

{{ end }}### 応答:
{{ .Response }}"""