Spaces:
Sleeping
Sleeping
Update app.py
Browse files
app.py
CHANGED
@@ -10,7 +10,7 @@ hf_token = os.getenv("HF_API_TOKEN")
|
|
10 |
# 定义基础模型名称
|
11 |
base_model_name = "unsloth/meta-llama-3.1-8b-bnb-4bit" # 替换为你的基础模型名称
|
12 |
|
13 |
-
# 定义 adapter
|
14 |
adapter_model_name = "larry1129/WooWoof_AI" # 替换为你的 adapter 模型名称
|
15 |
|
16 |
# 加载分词器
|
@@ -22,7 +22,7 @@ base_model = AutoModelForCausalLM.from_pretrained(
|
|
22 |
device_map="auto",
|
23 |
torch_dtype=torch.float16,
|
24 |
use_auth_token=hf_token,
|
25 |
-
trust_remote_code=True
|
26 |
)
|
27 |
|
28 |
# 加载 adapter 并将其应用到基础模型上
|
|
|
10 |
# 定义基础模型名称
|
11 |
base_model_name = "unsloth/meta-llama-3.1-8b-bnb-4bit" # 替换为你的基础模型名称
|
12 |
|
13 |
+
# 定义 adapter 模型名称
|
14 |
adapter_model_name = "larry1129/WooWoof_AI" # 替换为你的 adapter 模型名称
|
15 |
|
16 |
# 加载分词器
|
|
|
22 |
device_map="auto",
|
23 |
torch_dtype=torch.float16,
|
24 |
use_auth_token=hf_token,
|
25 |
+
trust_remote_code=True # 如果你的模型使用自定义代码,请保留此参数
|
26 |
)
|
27 |
|
28 |
# 加载 adapter 并将其应用到基础模型上
|