larry1129 commited on
Commit
5272e1b
·
verified ·
1 Parent(s): a39ec81

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +2 -2
app.py CHANGED
@@ -10,7 +10,7 @@ hf_token = os.getenv("HF_API_TOKEN")
10
  # 定义基础模型名称
11
  base_model_name = "unsloth/meta-llama-3.1-8b-bnb-4bit" # 替换为你的基础模型名称
12
 
13
- # 定义 adapter 模型名称(假设 adapter 在同一个 repo 中)
14
  adapter_model_name = "larry1129/WooWoof_AI" # 替换为你的 adapter 模型名称
15
 
16
  # 加载分词器
@@ -22,7 +22,7 @@ base_model = AutoModelForCausalLM.from_pretrained(
22
  device_map="auto",
23
  torch_dtype=torch.float16,
24
  use_auth_token=hf_token,
25
- trust_remote_code=True
26
  )
27
 
28
  # 加载 adapter 并将其应用到基础模型上
 
10
  # 定义基础模型名称
11
  base_model_name = "unsloth/meta-llama-3.1-8b-bnb-4bit" # 替换为你的基础模型名称
12
 
13
+ # 定义 adapter 模型名称
14
  adapter_model_name = "larry1129/WooWoof_AI" # 替换为你的 adapter 模型名称
15
 
16
  # 加载分词器
 
22
  device_map="auto",
23
  torch_dtype=torch.float16,
24
  use_auth_token=hf_token,
25
+ trust_remote_code=True # 如果你的模型使用自定义代码,请保留此参数
26
  )
27
 
28
  # 加载 adapter 并将其应用到基础模型上