Upload model

model.safetensors

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:f0086aa0b6c4b67c2d818b2038c0232b0c8d86445867f1d73489eb2e5f4bf41d
+oid sha256:7daa464c1cd2b8e003a3f0909c0531e2b1ec8c317d3f52402a1debd1a3e46260
 size 79108

modeling_IQtransformer.py

@@ -228,7 +228,7 @@ class transformerModel(PreTrainedModel):
         # 因为位置编码值在-1和1之间，
         # 因此嵌入值乘以嵌入维度的平方根进行缩放，
         # 然后再与位置编码相加。
-        X = self.ln(self.Linear(X))
+        X = self.ln(self.Linear(X).to(torch.float32))
         self.attention_weights = [None] * len(self.blks)
         for i, blk in enumerate(self.blks):
             X = blk(X, valid_lens)