t-tech

/

T-pro-it-2.0

like 111

Follow

T-Tech 500

Привет всем!

При попытке развернуть модель LLM, столкнулся с ошибкой, связанной с тем, что часть весов не была загружена из чекпоинта.

ValueError: Following weights were not initialized from checkpoint: {'model.layers.58.post_attention_layernorm.weight', 'model.layers.63.self_attn.k_norm.weight', 'model.layers.61.self_attn.q_norm.weight', 'model.layers.58.mlp.down_proj.weight', 'model.layers.62.self_attn.q_norm.weight', 'model.layers.62.self_attn.k_norm.weight', 'model.layers.62.mlp.gate_up_proj.weight', 'model.layers.60.self_attn.o_proj.weight', 'model.layers.60.mlp.down_proj.weight', 'model.layers.60.mlp.gate_up_proj.weight', 'model.layers.59.post_attention_layernorm.weight', 'model.layers.63.self_attn.qkv_proj.weight', 'model.layers.60.self_attn.q_norm.weight', 'model.layers.61.input_layernorm.weight', 'model.layers.59.self_attn.k_norm.weight', 'model.layers.61.self_attn.o_proj.weight', 'model.layers.62.post_attention_layernorm.weight', 'model.layers.61.post_attention_layernorm.weight', 'model.layers.59.mlp.down_proj.weight', 'model.layers.61.self_attn.k_norm.weight', 'model.layers.61.mlp.gate_up_proj.weight', 'model.layers.62.self_attn.o_proj.weight', 'model.layers.63.self_attn.o_proj.weight', 'model.layers.60.input_layernorm.weight', 'model.layers.58.input_layernorm.weight', 'model.layers.59.self_attn.o_proj.weight', 'model.layers.60.self_attn.qkv_proj.weight', 'model.layers.62.input_layernorm.weight', 'model.layers.60.self_attn.k_norm.weight', 'model.layers.60.post_attention_layernorm.weight', 'model.layers.59.mlp.gate_up_proj.weight', 'model.layers.59.input_layernorm.weight', 'model.layers.62.self_attn.qkv_proj.weight', 'model.layers.61.self_attn.qkv_proj.weight', 'model.layers.62.mlp.down_proj.weight', 'model.layers.59.self_attn.qkv_proj.weight', 'model.layers.59.self_attn.q_norm.weight', 'model.layers.61.mlp.down_proj.weight', 'model.layers.63.self_attn.q_norm.weight'}

Может быть, кто-то сталкивался с похожей проблемой? Возможно, это связано с несоответствием версий модели и кода, или с тем, что чекпоинт был неполным?

Используемая модель: T-pro-it-2.0
Фреймворк: vLLM 0.8.5.post1

Буду благодарен за любую помощь или указание на возможную причину проблемы.