peft_config = LoraConfig( | |
lora_alpha=16, | |
lora_dropout=0.05, | |
r=8, | |
bias="none", | |
target_modules=["q_proj", "v_proj"], | |
task_type="CAUSAL_LM", | |
) |
peft_config = LoraConfig( | |
lora_alpha=16, | |
lora_dropout=0.05, | |
r=8, | |
bias="none", | |
target_modules=["q_proj", "v_proj"], | |
task_type="CAUSAL_LM", | |
) |