nxtcloud-org/kanana-safeguard-prompt-2.1b-bitsandbytes-4bit

Kanana Safeguard Prompt 2.1B - 4bit Quantized

4bit 양자화된 kakaocorp/kanana-safeguard-prompt-2.1b 모델입니다.

모델 정보

• 원본 모델: kakaocorp/kanana-safeguard-prompt-2.1b
• 양자화 방법: BitsAndBytes 4bit (NF4)
• 파라미터: 2.1B
• 용도: 프롬프트 안전성 검증

사용법

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig

bnb_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_use_double_quant=True,
    bnb_4bit_quant_type="nf4",
    bnb_4bit_compute_dtype=torch.bfloat16
)

model = AutoModelForCausalLM.from_pretrained(
    "[your-username]/kanana-safeguard-prompt-2.1b-4bit",
    quantization_config=bnb_config,
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained("nxtcloud-org/kanana-safeguard-prompt-2.1b-4bit")

시스템 요구사항

• GPU 메모리: 2GB+
• RAM: 4GB+

라이선스

Apache License 2.0 (원본 모델과 동일)