diff --git "a/logs.txt" "b/logs.txt"
new file mode 100644--- /dev/null
+++ "b/logs.txt"
@@ -0,0 +1,357 @@
+/home/cfruan/.conda/envs/mlc-source-311/bin/python -m mlc_chat gen_config /models/gemma-7b-it --quantization q4f16_2 --conv-template gemma_instruction --output /tmp/tmpqbj3qggh --context-window-size 8192 --prefill-chunk-size 1024
+[2024-02-22 18:06:28] INFO auto_config.py:115: Found model configuration: /models/gemma-7b-it/config.json
+[2024-02-22 18:06:28] INFO auto_config.py:153: Found model type: gemma. Use `--model-type` to override.
+[2024-02-22 18:06:28] INFO gemma_model.py:55: context_window_size not found in config.json. Falling back to max_position_embeddings (8192)
+[2024-02-22 18:06:28] INFO gemma_model.py:70: prefill_chunk_size defaults to context_window_size (8192)
+[2024-02-22 18:06:28] INFO config.py:106: Overriding context_window_size from 8192 to 8192
+[2024-02-22 18:06:28] INFO config.py:106: Overriding prefill_chunk_size from 8192 to 1024
+[2024-02-22 18:06:28] INFO config.py:106: Overriding max_batch_size from 1 to 80
+[2024-02-22 18:06:28] INFO gen_config.py:121: [generation_config.json] Setting bos_token_id: 2
+[2024-02-22 18:06:28] INFO gen_config.py:121: [generation_config.json] Setting eos_token_id: 1
+[2024-02-22 18:06:28] INFO gen_config.py:121: [generation_config.json] Setting pad_token_id: 0
+[2024-02-22 18:06:28] INFO gen_config.py:133: Found tokenizer config: /models/gemma-7b-it/tokenizer.model. Copying to /tmp/tmpqbj3qggh/tokenizer.model
+[2024-02-22 18:06:28] INFO gen_config.py:133: Found tokenizer config: /models/gemma-7b-it/tokenizer.json. Copying to /tmp/tmpqbj3qggh/tokenizer.json
+[2024-02-22 18:06:28] INFO gen_config.py:135: Not found tokenizer config: /models/gemma-7b-it/vocab.json
+[2024-02-22 18:06:28] INFO gen_config.py:135: Not found tokenizer config: /models/gemma-7b-it/merges.txt
+[2024-02-22 18:06:28] INFO gen_config.py:135: Not found tokenizer config: /models/gemma-7b-it/added_tokens.json
+[2024-02-22 18:06:28] INFO gen_config.py:133: Found tokenizer config: /models/gemma-7b-it/tokenizer_config.json. Copying to /tmp/tmpqbj3qggh/tokenizer_config.json
+[2024-02-22 18:06:28] INFO gen_config.py:74: [System default] Setting temperature: 0.7
+[2024-02-22 18:06:28] INFO gen_config.py:74: [System default] Setting presence_penalty: 0.0
+[2024-02-22 18:06:28] INFO gen_config.py:74: [System default] Setting frequency_penalty: 0.0
+[2024-02-22 18:06:28] INFO gen_config.py:74: [System default] Setting repetition_penalty: 1.0
+[2024-02-22 18:06:28] INFO gen_config.py:74: [System default] Setting top_p: 0.95
+[2024-02-22 18:06:28] INFO gen_config.py:74: [System default] Setting mean_gen_len: 128
+[2024-02-22 18:06:28] INFO gen_config.py:74: [System default] Setting max_gen_len: 512
+[2024-02-22 18:06:28] INFO gen_config.py:74: [System default] Setting shift_fill_factor: 0.3
+[2024-02-22 18:06:28] INFO gen_config.py:186: Dumping configuration file to: /tmp/tmpqbj3qggh/mlc-chat-config.json
+/home/cfruan/.conda/envs/mlc-source-311/bin/python -m mlc_chat convert_weight /models/gemma-7b-it --quantization q4f16_2 --source-format auto --output /tmp/tmpqbj3qggh
+[2024-02-22 18:06:31] INFO auto_config.py:115: Found model configuration: /models/gemma-7b-it/config.json
+[2024-02-22 18:06:32] INFO auto_device.py:76: Found device: cuda:0
+[2024-02-22 18:06:32] INFO auto_device.py:76: Found device: cuda:1
+[2024-02-22 18:06:34] INFO auto_device.py:85: Not found device: rocm:0
+[2024-02-22 18:06:36] INFO auto_device.py:85: Not found device: metal:0
+[2024-02-22 18:06:47] INFO auto_device.py:76: Found device: vulkan:0
+[2024-02-22 18:06:47] INFO auto_device.py:76: Found device: vulkan:1
+[2024-02-22 18:06:47] INFO auto_device.py:76: Found device: vulkan:2
+[2024-02-22 18:06:48] INFO auto_device.py:85: Not found device: opencl:0
+[2024-02-22 18:06:48] INFO auto_device.py:33: Using device: cuda:0
+[2024-02-22 18:06:48] INFO auto_weight.py:70: Finding weights in: /models/gemma-7b-it
+[2024-02-22 18:06:48] INFO auto_weight.py:136: Not found Huggingface PyTorch
+[2024-02-22 18:06:48] INFO auto_weight.py:143: Found source weight format: huggingface-safetensor. Source configuration: /models/gemma-7b-it/model.safetensors.index.json
+[2024-02-22 18:06:48] INFO auto_weight.py:106: Using source weight configuration: /models/gemma-7b-it/model.safetensors.index.json. Use `--source` to override.
+[2024-02-22 18:06:48] INFO auto_weight.py:110: Using source weight format: huggingface-safetensor. Use `--source-format` to override.
+[2024-02-22 18:06:48] INFO auto_config.py:153: Found model type: gemma. Use `--model-type` to override.
+[2024-02-22 18:06:48] INFO gemma_model.py:55: context_window_size not found in config.json. Falling back to max_position_embeddings (8192)
+[2024-02-22 18:06:48] INFO gemma_model.py:70: prefill_chunk_size defaults to context_window_size (8192)
+Weight conversion with arguments:
+  --config          /models/gemma-7b-it/config.json
+  --quantization    GroupQuantize(name='q4f16_2', kind='group-quant', group_size=32, quantize_dtype='int4', storage_dtype='uint32', model_dtype='float16', linear_weight_layout='NK', quantize_embedding=False, quantize_final_fc=False, num_elem_per_storage=8, num_storage_per_group=4, max_int_value=7)
+  --model-type      gemma
+  --device          cuda:0
+  --source          /models/gemma-7b-it/model.safetensors.index.json
+  --source-format   huggingface-safetensor
+  --output          /tmp/tmpqbj3qggh
+
  0%|                                                                                                                                                                       | 0/170 [00:00<?, ?it/s]
                                                                                                                                                                                                    
[2024-02-22 18:06:52] INFO huggingface_loader.py:182: Loading HF parameters from: /models/gemma-7b-it/model-00001-of-00004.safetensors
+
  0%|                                                                                                                                                                       | 0/170 [00:00<?, ?it/s]
                                                                                                                                                                                                    
[2024-02-22 18:07:15] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.embed_tokens.weight", shape: (256000, 3072), dtype: float16
+
  0%|                                                                                                                                                                       | 0/170 [00:22<?, ?it/s]
  1%|▉                                                                                                                                                            | 1/170 [00:23<1:07:34, 23.99s/it]
                                                                                                                                                                                                    
[2024-02-22 18:07:16] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.0.input_layernorm.weight", shape: (3072,), dtype: float16
+
  1%|▉                                                                                                                                                            | 1/170 [00:23<1:07:34, 23.99s/it]
                                                                                                                                                                                                    
[2024-02-22 18:07:17] INFO group_quantization.py:232: Compiling quantize function for key: ((3072, 24576), float16, cuda, axis=1, output_transpose=False)
+
  1%|▉                                                                                                                                                            | 1/170 [00:24<1:07:34, 23.99s/it]
                                                                                                                                                                                                    
[2024-02-22 18:07:28] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.0.mlp.down_proj.q_weight", shape: (3072, 3072), dtype: uint32
+
  1%|▉                                                                                                                                                            | 1/170 [00:35<1:07:34, 23.99s/it]
                                                                                                                                                                                                    
[2024-02-22 18:07:28] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.0.mlp.down_proj.q_scale", shape: (3072, 768), dtype: float16
+
  1%|▉                                                                                                                                                            | 1/170 [00:35<1:07:34, 23.99s/it]
  2%|██▊                                                                                                                                                            | 3/170 [00:35<29:27, 10.58s/it]
                                                                                                                                                                                                    
[2024-02-22 18:07:31] INFO group_quantization.py:232: Compiling quantize function for key: ((49152, 3072), float16, cuda, axis=1, output_transpose=False)
+
  2%|██▊                                                                                                                                                            | 3/170 [00:39<29:27, 10.58s/it]
                                                                                                                                                                                                    
[2024-02-22 18:07:32] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.0.mlp.gate_up_proj.q_weight", shape: (49152, 384), dtype: uint32
+
  2%|██▊                                                                                                                                                            | 3/170 [00:39<29:27, 10.58s/it]
                                                                                                                                                                                                    
[2024-02-22 18:07:32] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.0.mlp.gate_up_proj.q_scale", shape: (49152, 96), dtype: float16
+
  2%|██▊                                                                                                                                                            | 3/170 [00:39<29:27, 10.58s/it]
  2%|███▋                                                                                                                                                           | 4/170 [00:39<22:55,  8.29s/it]
                                                                                                                                                                                                    
[2024-02-22 18:07:32] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.0.post_attention_layernorm.weight", shape: (3072,), dtype: float16
+
  2%|███▋                                                                                                                                                           | 4/170 [00:39<22:55,  8.29s/it]
                                                                                                                                                                                                    
[2024-02-22 18:07:32] INFO group_quantization.py:232: Compiling quantize function for key: ((12288, 3072), float16, cuda, axis=1, output_transpose=False)
+
  2%|███▋                                                                                                                                                           | 4/170 [00:40<22:55,  8.29s/it]
                                                                                                                                                                                                    
[2024-02-22 18:07:33] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.0.self_attn.qkv_proj.q_weight", shape: (12288, 384), dtype: uint32
+
  2%|███▋                                                                                                                                                           | 4/170 [00:41<22:55,  8.29s/it]
                                                                                                                                                                                                    
[2024-02-22 18:07:33] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.0.self_attn.qkv_proj.q_scale", shape: (12288, 96), dtype: float16
+
  2%|███▋                                                                                                                                                           | 4/170 [00:41<22:55,  8.29s/it]
  4%|█████▌                                                                                                                                                         | 6/170 [00:41<12:17,  4.49s/it]
                                                                                                                                                                                                    
[2024-02-22 18:07:33] INFO group_quantization.py:232: Compiling quantize function for key: ((3072, 4096), float16, cuda, axis=1, output_transpose=False)
+
  4%|█████▌                                                                                                                                                         | 6/170 [00:41<12:17,  4.49s/it]
                                                                                                                                                                                                    
[2024-02-22 18:07:34] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.0.self_attn.o_proj.q_weight", shape: (3072, 512), dtype: uint32
+
  4%|█████▌                                                                                                                                                         | 6/170 [00:41<12:17,  4.49s/it]
                                                                                                                                                                                                    
[2024-02-22 18:07:34] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.0.self_attn.o_proj.q_scale", shape: (3072, 128), dtype: float16
+
  4%|█████▌                                                                                                                                                         | 6/170 [00:41<12:17,  4.49s/it]
  4%|██████▌                                                                                                                                                        | 7/170 [00:41<09:28,  3.49s/it]
                                                                                                                                                                                                    
[2024-02-22 18:07:34] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.1.input_layernorm.weight", shape: (3072,), dtype: float16
+
  4%|██████▌                                                                                                                                                        | 7/170 [00:41<09:28,  3.49s/it]
                                                                                                                                                                                                    
[2024-02-22 18:07:35] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.1.mlp.down_proj.q_weight", shape: (3072, 3072), dtype: uint32
+
  4%|██████▌                                                                                                                                                        | 7/170 [00:42<09:28,  3.49s/it]
                                                                                                                                                                                                    
[2024-02-22 18:07:35] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.1.mlp.down_proj.q_scale", shape: (3072, 768), dtype: float16
+
  4%|██████▌                                                                                                                                                        | 7/170 [00:42<09:28,  3.49s/it]
  5%|████████▍                                                                                                                                                      | 9/170 [00:42<05:54,  2.20s/it]
                                                                                                                                                                                                    
[2024-02-22 18:07:38] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.1.mlp.gate_up_proj.q_weight", shape: (49152, 384), dtype: uint32
+
  5%|████████▍                                                                                                                                                      | 9/170 [00:45<05:54,  2.20s/it]
                                                                                                                                                                                                    
[2024-02-22 18:07:38] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.1.mlp.gate_up_proj.q_scale", shape: (49152, 96), dtype: float16
+
  5%|████████▍                                                                                                                                                      | 9/170 [00:45<05:54,  2.20s/it]
  6%|█████████▎                                                                                                                                                    | 10/170 [00:45<06:26,  2.42s/it]
                                                                                                                                                                                                    
[2024-02-22 18:07:38] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.1.post_attention_layernorm.weight", shape: (3072,), dtype: float16
+
  6%|█████████▎                                                                                                                                                    | 10/170 [00:45<06:26,  2.42s/it]
                                                                                                                                                                                                    
[2024-02-22 18:07:39] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.1.self_attn.qkv_proj.q_weight", shape: (12288, 384), dtype: uint32
+
  6%|█████████▎                                                                                                                                                    | 10/170 [00:47<06:26,  2.42s/it]
                                                                                                                                                                                                    
[2024-02-22 18:07:39] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.1.self_attn.qkv_proj.q_scale", shape: (12288, 96), dtype: float16
+
  6%|█████████▎                                                                                                                                                    | 10/170 [00:47<06:26,  2.42s/it]
  7%|███████████▏                                                                                                                                                  | 12/170 [00:47<04:33,  1.73s/it]
                                                                                                                                                                                                    
[2024-02-22 18:07:39] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.1.self_attn.o_proj.q_weight", shape: (3072, 512), dtype: uint32
+
  7%|███████████▏                                                                                                                                                  | 12/170 [00:47<04:33,  1.73s/it]
                                                                                                                                                                                                    
[2024-02-22 18:07:39] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.1.self_attn.o_proj.q_scale", shape: (3072, 128), dtype: float16
+
  7%|███████████▏                                                                                                                                                  | 12/170 [00:47<04:33,  1.73s/it]
                                                                                                                                                                                                    
[2024-02-22 18:07:39] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.2.input_layernorm.weight", shape: (3072,), dtype: float16
+
  7%|███████████▏                                                                                                                                                  | 12/170 [00:47<04:33,  1.73s/it]
                                                                                                                                                                                                    
[2024-02-22 18:07:40] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.2.mlp.down_proj.q_weight", shape: (3072, 3072), dtype: uint32
+
  7%|███████████▏                                                                                                                                                  | 12/170 [00:47<04:33,  1.73s/it]
                                                                                                                                                                                                    
[2024-02-22 18:07:40] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.2.mlp.down_proj.q_scale", shape: (3072, 768), dtype: float16
+
  7%|███████████▏                                                                                                                                                  | 12/170 [00:47<04:33,  1.73s/it]
  9%|█████████████▉                                                                                                                                                | 15/170 [00:47<02:39,  1.03s/it]
                                                                                                                                                                                                    
[2024-02-22 18:07:42] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.2.mlp.gate_up_proj.q_weight", shape: (49152, 384), dtype: uint32
+
  9%|█████████████▉                                                                                                                                                | 15/170 [00:50<02:39,  1.03s/it]
                                                                                                                                                                                                    
[2024-02-22 18:07:42] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.2.mlp.gate_up_proj.q_scale", shape: (49152, 96), dtype: float16
+
  9%|█████████████▉                                                                                                                                                | 15/170 [00:50<02:39,  1.03s/it]
  9%|██████████████▊                                                                                                                                               | 16/170 [00:50<03:21,  1.31s/it]
                                                                                                                                                                                                    
[2024-02-22 18:07:42] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.2.post_attention_layernorm.weight", shape: (3072,), dtype: float16
+
  9%|██████████████▊                                                                                                                                               | 16/170 [00:50<03:21,  1.31s/it]
                                                                                                                                                                                                    
[2024-02-22 18:07:43] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.2.self_attn.qkv_proj.q_weight", shape: (12288, 384), dtype: uint32
+
  9%|██████████████▊                                                                                                                                               | 16/170 [00:51<03:21,  1.31s/it]
                                                                                                                                                                                                    
[2024-02-22 18:07:43] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.2.self_attn.qkv_proj.q_scale", shape: (12288, 96), dtype: float16
+
  9%|██████████████▊                                                                                                                                               | 16/170 [00:51<03:21,  1.31s/it]
 11%|████████████████▋                                                                                                                                             | 18/170 [00:51<02:28,  1.02it/s]
                                                                                                                                                                                                    
[2024-02-22 18:07:43] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.2.self_attn.o_proj.q_weight", shape: (3072, 512), dtype: uint32
+
 11%|████████████████▋                                                                                                                                             | 18/170 [00:51<02:28,  1.02it/s]
                                                                                                                                                                                                    
[2024-02-22 18:07:43] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.2.self_attn.o_proj.q_scale", shape: (3072, 128), dtype: float16
+
 11%|████████████████▋                                                                                                                                             | 18/170 [00:51<02:28,  1.02it/s]
                                                                                                                                                                                                    
[2024-02-22 18:07:43] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.3.input_layernorm.weight", shape: (3072,), dtype: float16
+
 11%|████████████████▋                                                                                                                                             | 18/170 [00:51<02:28,  1.02it/s]
                                                                                                                                                                                                    
[2024-02-22 18:07:44] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.3.mlp.down_proj.q_weight", shape: (3072, 3072), dtype: uint32
+
 11%|████████████████▋                                                                                                                                             | 18/170 [00:51<02:28,  1.02it/s]
                                                                                                                                                                                                    
[2024-02-22 18:07:44] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.3.mlp.down_proj.q_scale", shape: (3072, 768), dtype: float16
+
 11%|████████████████▋                                                                                                                                             | 18/170 [00:51<02:28,  1.02it/s]
 12%|███████████████████▌                                                                                                                                          | 21/170 [00:51<01:37,  1.53it/s]
                                                                                                                                                                                                    
[2024-02-22 18:07:46] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.3.mlp.gate_up_proj.q_weight", shape: (49152, 384), dtype: uint32
+
 12%|███████████████████▌                                                                                                                                          | 21/170 [00:54<01:37,  1.53it/s]
                                                                                                                                                                                                    
[2024-02-22 18:07:46] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.3.mlp.gate_up_proj.q_scale", shape: (49152, 96), dtype: float16
+
 12%|███████████████████▌                                                                                                                                          | 21/170 [00:54<01:37,  1.53it/s]
 13%|████████████████████▍                                                                                                                                         | 22/170 [00:54<02:30,  1.02s/it]
                                                                                                                                                                                                    
[2024-02-22 18:07:46] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.3.post_attention_layernorm.weight", shape: (3072,), dtype: float16
+
 13%|████████████████████▍                                                                                                                                         | 22/170 [00:54<02:30,  1.02s/it]
                                                                                                                                                                                                    
[2024-02-22 18:07:47] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.3.self_attn.qkv_proj.q_weight", shape: (12288, 384), dtype: uint32
+
 13%|████████████████████▍                                                                                                                                         | 22/170 [00:55<02:30,  1.02s/it]
                                                                                                                                                                                                    
[2024-02-22 18:07:47] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.3.self_attn.qkv_proj.q_scale", shape: (12288, 96), dtype: float16
+
 13%|████████████████████▍                                                                                                                                         | 22/170 [00:55<02:30,  1.02s/it]
 14%|██████████████████████▎                                                                                                                                       | 24/170 [00:55<01:57,  1.25it/s]
                                                                                                                                                                                                    
[2024-02-22 18:07:47] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.3.self_attn.o_proj.q_weight", shape: (3072, 512), dtype: uint32
+
 14%|██████████████████████▎                                                                                                                                       | 24/170 [00:55<01:57,  1.25it/s]
                                                                                                                                                                                                    
[2024-02-22 18:07:47] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.3.self_attn.o_proj.q_scale", shape: (3072, 128), dtype: float16
+
 14%|██████████████████████▎                                                                                                                                       | 24/170 [00:55<01:57,  1.25it/s]
 15%|███████████████████████▏                                                                                                                                      | 25/170 [00:55<01:38,  1.47it/s]
                                                                                                                                                                                                    
[2024-02-22 18:07:47] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.4.input_layernorm.weight", shape: (3072,), dtype: float16
+
 15%|███████████████████████▏                                                                                                                                      | 25/170 [00:55<01:38,  1.47it/s]
                                                                                                                                                                                                    
[2024-02-22 18:07:48] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.4.mlp.down_proj.q_weight", shape: (3072, 3072), dtype: uint32
+
 15%|███████████████████████▏                                                                                                                                      | 25/170 [00:55<01:38,  1.47it/s]
                                                                                                                                                                                                    
[2024-02-22 18:07:48] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.4.mlp.down_proj.q_scale", shape: (3072, 768), dtype: float16
+
 15%|███████████████████████▏                                                                                                                                      | 25/170 [00:56<01:38,  1.47it/s]
 16%|█████████████████████████                                                                                                                                     | 27/170 [00:56<01:19,  1.81it/s]
                                                                                                                                                                                                    
[2024-02-22 18:07:50] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.4.mlp.gate_up_proj.q_weight", shape: (49152, 384), dtype: uint32
+
 16%|█████████████████████████                                                                                                                                     | 27/170 [00:58<01:19,  1.81it/s]
                                                                                                                                                                                                    
[2024-02-22 18:07:51] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.4.mlp.gate_up_proj.q_scale", shape: (49152, 96), dtype: float16
+
 16%|█████████████████████████                                                                                                                                     | 27/170 [00:58<01:19,  1.81it/s]
 16%|██████████████████████████                                                                                                                                    | 28/170 [00:58<02:16,  1.04it/s]
                                                                                                                                                                                                    
[2024-02-22 18:07:51] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.4.post_attention_layernorm.weight", shape: (3072,), dtype: float16
+
 16%|██████████████████████████                                                                                                                                    | 28/170 [00:58<02:16,  1.04it/s]
                                                                                                                                                                                                    
[2024-02-22 18:07:51] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.4.self_attn.qkv_proj.q_weight", shape: (12288, 384), dtype: uint32
+
 16%|██████████████████████████                                                                                                                                    | 28/170 [00:59<02:16,  1.04it/s]
                                                                                                                                                                                                    
[2024-02-22 18:07:51] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.4.self_attn.qkv_proj.q_scale", shape: (12288, 96), dtype: float16
+
 16%|██████████████████████████                                                                                                                                    | 28/170 [00:59<02:16,  1.04it/s]
 18%|███████████████████████████▉                                                                                                                                  | 30/170 [00:59<01:41,  1.38it/s]
                                                                                                                                                                                                    
[2024-02-22 18:07:51] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.4.self_attn.o_proj.q_weight", shape: (3072, 512), dtype: uint32
+
 18%|███████████████████████████▉                                                                                                                                  | 30/170 [00:59<01:41,  1.38it/s]
                                                                                                                                                                                                    
[2024-02-22 18:07:51] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.4.self_attn.o_proj.q_scale", shape: (3072, 128), dtype: float16
+
 18%|███████████████████████████▉                                                                                                                                  | 30/170 [00:59<01:41,  1.38it/s]
 18%|████████████████████████████▊                                                                                                                                 | 31/170 [00:59<01:28,  1.57it/s]
                                                                                                                                                                                                    
[2024-02-22 18:07:51] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.5.input_layernorm.weight", shape: (3072,), dtype: float16
+
 18%|████████████████████████████▊                                                                                                                                 | 31/170 [00:59<01:28,  1.57it/s]
                                                                                                                                                                                                    
[2024-02-22 18:07:52] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.5.mlp.down_proj.q_weight", shape: (3072, 3072), dtype: uint32
+
 18%|████████████████████████████▊                                                                                                                                 | 31/170 [01:00<01:28,  1.57it/s]
                                                                                                                                                                                                    
[2024-02-22 18:07:52] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.5.mlp.down_proj.q_scale", shape: (3072, 768), dtype: float16
+
 18%|████████████████████████████▊                                                                                                                                 | 31/170 [01:00<01:28,  1.57it/s]
 19%|██████████████████████████████▋                                                                                                                               | 33/170 [01:00<01:12,  1.90it/s]
                                                                                                                                                                                                    
[2024-02-22 18:07:55] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.5.mlp.gate_up_proj.q_weight", shape: (49152, 384), dtype: uint32
+
 19%|██████████████████████████████▋                                                                                                                               | 33/170 [01:02<01:12,  1.90it/s]
                                                                                                                                                                                                    
[2024-02-22 18:07:55] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.5.mlp.gate_up_proj.q_scale", shape: (49152, 96), dtype: float16
+
 19%|██████████████████████████████▋                                                                                                                               | 33/170 [01:02<01:12,  1.90it/s]
 20%|███████████████████████████████▌                                                                                                                              | 34/170 [01:02<02:11,  1.03it/s]
                                                                                                                                                                                                    
[2024-02-22 18:07:55] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.5.post_attention_layernorm.weight", shape: (3072,), dtype: float16
+
 20%|███████████████████████████████▌                                                                                                                              | 34/170 [01:02<02:11,  1.03it/s]
                                                                                                                                                                                                    
[2024-02-22 18:07:55] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.5.self_attn.qkv_proj.q_weight", shape: (12288, 384), dtype: uint32
+
 20%|███████████████████████████████▌                                                                                                                              | 34/170 [01:03<02:11,  1.03it/s]
                                                                                                                                                                                                    
[2024-02-22 18:07:55] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.5.self_attn.qkv_proj.q_scale", shape: (12288, 96), dtype: float16
+
 20%|███████████████████████████████▌                                                                                                                              | 34/170 [01:03<02:11,  1.03it/s]
 21%|█████████████████████████████████▍                                                                                                                            | 36/170 [01:03<01:33,  1.43it/s]
                                                                                                                                                                                                    
[2024-02-22 18:07:55] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.5.self_attn.o_proj.q_weight", shape: (3072, 512), dtype: uint32
+
 21%|█████████████████████████████████▍                                                                                                                            | 36/170 [01:03<01:33,  1.43it/s]
                                                                                                                                                                                                    
[2024-02-22 18:07:55] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.5.self_attn.o_proj.q_scale", shape: (3072, 128), dtype: float16
+
 21%|█████████████████████████████████▍                                                                                                                            | 36/170 [01:03<01:33,  1.43it/s]
                                                                                                                                                                                                    
[2024-02-22 18:07:56] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.6.self_attn.qkv_proj.q_weight", shape: (12288, 384), dtype: uint32
+
 21%|█████████████████████████████████▍                                                                                                                            | 36/170 [01:04<01:33,  1.43it/s]
                                                                                                                                                                                                    
[2024-02-22 18:07:56] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.6.self_attn.qkv_proj.q_scale", shape: (12288, 96), dtype: float16
+
 21%|██████████████████��██████████████▍                                                                                                                            | 36/170 [01:04<01:33,  1.43it/s]
 22%|███████████████████████████████████▎                                                                                                                          | 38/170 [01:04<01:26,  1.52it/s]
                                                                                                                                                                                                    
[2024-02-22 18:07:57] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.6.self_attn.o_proj.q_weight", shape: (3072, 512), dtype: uint32
+
 22%|███████████████████████████████████▎                                                                                                                          | 38/170 [01:04<01:26,  1.52it/s]
                                                                                                                                                                                                    
[2024-02-22 18:07:57] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.6.self_attn.o_proj.q_scale", shape: (3072, 128), dtype: float16
+
 22%|███████████████████████████████████▎                                                                                                                          | 38/170 [01:04<01:26,  1.52it/s]
                                                                                                                                                                                                    
[2024-02-22 18:07:57] INFO huggingface_loader.py:194: Unloading HF weight file: /models/gemma-7b-it/model-00001-of-00004.safetensors
+
 22%|███████████████████████████████████▎                                                                                                                          | 38/170 [01:04<01:26,  1.52it/s]
                                                                                                                                                                                                    
[2024-02-22 18:07:57] INFO huggingface_loader.py:182: Loading HF parameters from: /models/gemma-7b-it/model-00002-of-00004.safetensors
+
 22%|███████████████████████████████████▎                                                                                                                          | 38/170 [01:05<01:26,  1.52it/s]
                                                                                                                                                                                                    
[2024-02-22 18:08:08] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.10.input_layernorm.weight", shape: (3072,), dtype: float16
+
 22%|███████████████████████████████████▎                                                                                                                          | 38/170 [01:15<01:26,  1.52it/s]
 24%|█████████████████████████████████████▏                                                                                                                        | 40/170 [01:15<05:02,  2.33s/it]
                                                                                                                                                                                                    
[2024-02-22 18:08:09] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.10.mlp.down_proj.q_weight", shape: (3072, 3072), dtype: uint32
+
 24%|█████████████████████████████████████▏                                                                                                                        | 40/170 [01:16<05:02,  2.33s/it]
                                                                                                                                                                                                    
[2024-02-22 18:08:09] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.10.mlp.down_proj.q_scale", shape: (3072, 768), dtype: float16
+
 24%|█████████████████████████████████████▏                                                                                                                        | 40/170 [01:16<05:02,  2.33s/it]
 24%|██████████████████████████████████████                                                                                                                        | 41/170 [01:16<04:26,  2.07s/it]
                                                                                                                                                                                                    
[2024-02-22 18:08:12] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.10.mlp.gate_up_proj.q_weight", shape: (49152, 384), dtype: uint32
+
 24%|██████████████████████████████████████                                                                                                                        | 41/170 [01:19<04:26,  2.07s/it]
                                                                                                                                                                                                    
[2024-02-22 18:08:12] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.10.mlp.gate_up_proj.q_scale", shape: (49152, 96), dtype: float16
+
 24%|██████████████████████████████████████                                                                                                                        | 41/170 [01:19<04:26,  2.07s/it]
 25%|███████████████████████████████████████                                                                                                                       | 42/170 [01:19<04:45,  2.23s/it]
                                                                                                                                                                                                    
[2024-02-22 18:08:12] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.10.post_attention_layernorm.weight", shape: (3072,), dtype: float16
+
 25%|███████████████████████████████████████                                                                                                                       | 42/170 [01:19<04:45,  2.23s/it]
                                                                                                                                                                                                    
[2024-02-22 18:08:12] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.10.self_attn.qkv_proj.q_weight", shape: (12288, 384), dtype: uint32
+
 25%|███████████████████████████████████████                                                                                                                       | 42/170 [01:20<04:45,  2.23s/it]
                                                                                                                                                                                                    
[2024-02-22 18:08:12] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.10.self_attn.qkv_proj.q_scale", shape: (12288, 96), dtype: float16
+
 25%|███████████████████████████████████████                                                                                                                       | 42/170 [01:20<04:45,  2.23s/it]
 26%|████████████████████████████████████████▉                                                                                                                     | 44/170 [01:20<03:11,  1.52s/it]
                                                                                                                                                                                                    
[2024-02-22 18:08:12] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.10.self_attn.o_proj.q_weight", shape: (3072, 512), dtype: uint32
+
 26%|████████████████████████████████████████▉                                                                                                                     | 44/170 [01:20<03:11,  1.52s/it]
                                                                                                                                                                                                    
[2024-02-22 18:08:12] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.10.self_attn.o_proj.q_scale", shape: (3072, 128), dtype: float16
+
 26%|███████████████████████████████��████████▉                                                                                                                     | 44/170 [01:20<03:11,  1.52s/it]
                                                                                                                                                                                                    
[2024-02-22 18:08:12] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.11.input_layernorm.weight", shape: (3072,), dtype: float16
+
 26%|████████████████████████████████████████▉                                                                                                                     | 44/170 [01:20<03:11,  1.52s/it]
                                                                                                                                                                                                    
[2024-02-22 18:08:13] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.11.mlp.down_proj.q_weight", shape: (3072, 3072), dtype: uint32
+
 26%|████████████████████████████████████████▉                                                                                                                     | 44/170 [01:21<03:11,  1.52s/it]
                                                                                                                                                                                                    
[2024-02-22 18:08:13] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.11.mlp.down_proj.q_scale", shape: (3072, 768), dtype: float16
+
 26%|████████████████████████████████████████▉                                                                                                                     | 44/170 [01:21<03:11,  1.52s/it]
 28%|███████████████████████████████████████████▋                                                                                                                  | 47/170 [01:21<02:03,  1.00s/it]
                                                                                                                                                                                                    
[2024-02-22 18:08:16] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.11.mlp.gate_up_proj.q_weight", shape: (49152, 384), dtype: uint32
+
 28%|███████████████████████████████████████████▋                                                                                                                  | 47/170 [01:24<02:03,  1.00s/it]
                                                                                                                                                                                                    
[2024-02-22 18:08:16] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.11.mlp.gate_up_proj.q_scale", shape: (49152, 96), dtype: float16
+
 28%|███████████████████████████████████████████▋                                                                                                                  | 47/170 [01:24<02:03,  1.00s/it]
 28%|████████████████████████████████████████████▌                                                                                                                 | 48/170 [01:24<02:43,  1.34s/it]
                                                                                                                                                                                                    
[2024-02-22 18:08:16] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.11.post_attention_layernorm.weight", shape: (3072,), dtype: float16
+
 28%|████████████████████████████████████████████▌                                                                                                                 | 48/170 [01:24<02:43,  1.34s/it]
                                                                                                                                                                                                    
[2024-02-22 18:08:17] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.11.self_attn.qkv_proj.q_weight", shape: (12288, 384), dtype: uint32
+
 28%|█████████████████████████████████████████��██▌                                                                                                                 | 48/170 [01:25<02:43,  1.34s/it]
                                                                                                                                                                                                    
[2024-02-22 18:08:17] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.11.self_attn.qkv_proj.q_scale", shape: (12288, 96), dtype: float16
+
 28%|████████████████████████████████████████████▌                                                                                                                 | 48/170 [01:25<02:43,  1.34s/it]
 29%|██████████████████████████████████████████████▍                                                                                                               | 50/170 [01:25<02:07,  1.06s/it]
                                                                                                                                                                                                    
[2024-02-22 18:08:17] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.11.self_attn.o_proj.q_weight", shape: (3072, 512), dtype: uint32
+
 29%|██████████████████████████████████████████████▍                                                                                                               | 50/170 [01:25<02:07,  1.06s/it]
                                                                                                                                                                                                    
[2024-02-22 18:08:17] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.11.self_attn.o_proj.q_scale", shape: (3072, 128), dtype: float16
+
 29%|██████████████████████████████████████████████▍                                                                                                               | 50/170 [01:25<02:07,  1.06s/it]
                                                                                                                                                                                                    
[2024-02-22 18:08:17] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.12.input_layernorm.weight", shape: (3072,), dtype: float16
+
 29%|██████████████████████████████████████████████▍                                                                                                               | 50/170 [01:25<02:07,  1.06s/it]
                                                                                                                                                                                                    
[2024-02-22 18:08:18] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.12.mlp.down_proj.q_weight", shape: (3072, 3072), dtype: uint32
+
 29%|██████████████████████████████████████████████▍                                                                                                               | 50/170 [01:26<02:07,  1.06s/it]
                                                                                                                                                                                                    
[2024-02-22 18:08:18] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.12.mlp.down_proj.q_scale", shape: (3072, 768), dtype: float16
+
 29%|██████████████████████████████████████████████▍                                                                                                               | 50/170 [01:26<02:07,  1.06s/it]
 31%|█████████████████████████████████████████████████▎                                                                                                            | 53/170 [01:26<01:23,  1.41it/s]
                                                                                                                                                                                                    
[2024-02-22 18:08:21] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.12.mlp.gate_up_proj.q_weight", shape: (49152, 384), dtype: uint32
+
 31%|██████████████████████████████���██████████████████▎                                                                                                            | 53/170 [01:28<01:23,  1.41it/s]
                                                                                                                                                                                                    
[2024-02-22 18:08:21] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.12.mlp.gate_up_proj.q_scale", shape: (49152, 96), dtype: float16
+
 31%|█████████████████████████████████████████████████▎                                                                                                            | 53/170 [01:28<01:23,  1.41it/s]
 32%|██████████████████████████████████████████████████▏                                                                                                           | 54/170 [01:28<01:58,  1.03s/it]
                                                                                                                                                                                                    
[2024-02-22 18:08:21] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.12.post_attention_layernorm.weight", shape: (3072,), dtype: float16
+
 32%|██████████████████████████████████████████████████▏                                                                                                           | 54/170 [01:28<01:58,  1.03s/it]
                                                                                                                                                                                                    
[2024-02-22 18:08:21] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.12.self_attn.qkv_proj.q_weight", shape: (12288, 384), dtype: uint32
+
 32%|██████████████████████████████████████████████████▏                                                                                                           | 54/170 [01:29<01:58,  1.03s/it]
                                                                                                                                                                                                    
[2024-02-22 18:08:21] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.12.self_attn.qkv_proj.q_scale", shape: (12288, 96), dtype: float16
+
 32%|██████████████████████████████████████████████████▏                                                                                                           | 54/170 [01:29<01:58,  1.03s/it]
 33%|████████████████████████████████████████████████████                                                                                                          | 56/170 [01:29<01:28,  1.29it/s]
                                                                                                                                                                                                    
[2024-02-22 18:08:21] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.12.self_attn.o_proj.q_weight", shape: (3072, 512), dtype: uint32
+
 33%|████████████████████████████████████████████████████                                                                                                          | 56/170 [01:29<01:28,  1.29it/s]
                                                                                                                                                                                                    
[2024-02-22 18:08:21] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.12.self_attn.o_proj.q_scale", shape: (3072, 128), dtype: float16
+
 33%|████████████████████████████████████████████████████                                                                                                          | 56/170 [01:29<01:28,  1.29it/s]
                                                                                                                                                                                                    
[2024-02-22 18:08:21] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.13.input_layernorm.weight", shape: (3072,), dtype: float16
+
 33%|████████████████████████████████████████████████████                                                                                                          | 56/170 [01:29<01:28,  1.29it/s]
                                                                                                                                                                                                    
[2024-02-22 18:08:22] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.13.mlp.down_proj.q_weight", shape: (3072, 3072), dtype: uint32
+
 33%|████████████████████████████████████████████████████                                                                                                          | 56/170 [01:30<01:28,  1.29it/s]
                                                                                                                                                                                                    
[2024-02-22 18:08:22] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.13.mlp.down_proj.q_scale", shape: (3072, 768), dtype: float16
+
 33%|████████████████████████████████████████████████████                                                                                                          | 56/170 [01:30<01:28,  1.29it/s]
 35%|██████████████████████████████████████████████████████▊                                                                                                       | 59/170 [01:30<01:03,  1.75it/s]
                                                                                                                                                                                                    
[2024-02-22 18:08:24] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.13.mlp.gate_up_proj.q_weight", shape: (49152, 384), dtype: uint32
+
 35%|██████████████████████████████████████████████████████▊                                                                                                       | 59/170 [01:32<01:03,  1.75it/s]
                                                                                                                                                                                                    
[2024-02-22 18:08:25] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.13.mlp.gate_up_proj.q_scale", shape: (49152, 96), dtype: float16
+
 35%|██████████████████████████████████████████████████████▊                                                                                                       | 59/170 [01:32<01:03,  1.75it/s]
 35%|███████████████████████████████████████████████████████▊                                                                                                      | 60/170 [01:32<01:38,  1.12it/s]
                                                                                                                                                                                                    
[2024-02-22 18:08:25] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.13.post_attention_layernorm.weight", shape: (3072,), dtype: float16
+
 35%|███████████████████████████████████████████████████████▊                                                                                                      | 60/170 [01:32<01:38,  1.12it/s]
                                                                                                                                                                                                    
[2024-02-22 18:08:27] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.13.self_attn.qkv_proj.q_weight", shape: (12288, 384), dtype: uint32
+
 35%|███████████████████████████████████████████████████████▊                                                                                                      | 60/170 [01:35<01:38,  1.12it/s]
                                                                                                                                                                                                    
[2024-02-22 18:08:27] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.13.self_attn.qkv_proj.q_scale", shape: (12288, 96), dtype: float16
+
 35%|███████████████████████████████████████████████████████▊                                                                                                      | 60/170 [01:35<01:38,  1.12it/s]
 36%|█████████████████████████████████████████████████████████▌                                                                                                    | 62/170 [01:35<01:55,  1.07s/it]
                                                                                                                                                                                                    
[2024-02-22 18:08:28] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.13.self_attn.o_proj.q_weight", shape: (3072, 512), dtype: uint32
+
 36%|█████████████████████████████████████████████████████████▌                                                                                                    | 62/170 [01:35<01:55,  1.07s/it]
                                                                                                                                                                                                    
[2024-02-22 18:08:28] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.13.self_attn.o_proj.q_scale", shape: (3072, 128), dtype: float16
+
 36%|█████████████████████████████████████████████████████████▌                                                                                                    | 62/170 [01:35<01:55,  1.07s/it]
                                                                                                                                                                                                    
[2024-02-22 18:08:28] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.14.input_layernorm.weight", shape: (3072,), dtype: float16
+
 36%|█████████████████████████████████████████████████████████▌                                                                                                    | 62/170 [01:35<01:55,  1.07s/it]
                                                                                                                                                                                                    
[2024-02-22 18:08:28] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.14.mlp.down_proj.q_weight", shape: (3072, 3072), dtype: uint32
+
 36%|█████████████████████████████████████████████████████████▌                                                                                                    | 62/170 [01:36<01:55,  1.07s/it]
                                                                                                                                                                                                    
[2024-02-22 18:08:28] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.14.mlp.down_proj.q_scale", shape: (3072, 768), dtype: float16
+
 36%|█████████████████████████████████████████████████████████▌                                                                                                    | 62/170 [01:36<01:55,  1.07s/it]
 38%|████████████████████████████████████████████████████████████▍                                                                                                 | 65/170 [01:36<01:14,  1.41it/s]
                                                                                                                                                                                                    
[2024-02-22 18:08:30] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.14.mlp.gate_up_proj.q_weight", shape: (49152, 384), dtype: uint32
+
 38%|████████████████████████████████████████████████████████████▍                                                                                                 | 65/170 [01:38<01:14,  1.41it/s]
                                                                                                                                                                                                    
[2024-02-22 18:08:30] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.14.mlp.gate_up_proj.q_scale", shape: (49152, 96), dtype: float16
+
 38%|████████████████████████████████████████████████████████████▍                                                                                                 | 65/170 [01:38<01:14,  1.41it/s]
 39%|█████████████████████████████████████████████████████████████▎                                                                                                | 66/170 [01:38<01:41,  1.03it/s]
                                                                                                                                                                                                    
[2024-02-22 18:08:30] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.14.post_attention_layernorm.weight", shape: (3072,), dtype: float16
+
 39%|█████████████████████████████████████████████████████████████▎                                                                                                | 66/170 [01:38<01:41,  1.03it/s]
                                                                                                                                                                                                    
[2024-02-22 18:08:31] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.14.self_attn.qkv_proj.q_weight", shape: (12288, 384), dtype: uint32
+
 39%|█████████████████████████████████████████████████████████████▎                                                                                                | 66/170 [01:39<01:41,  1.03it/s]
                                                                                                                                                                                                    
[2024-02-22 18:08:31] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.14.self_attn.qkv_proj.q_scale", shape: (12288, 96), dtype: float16
+
 39%|█████████████████████████████████████████████████████████████▎                                                                                                | 66/170 [01:39<01:41,  1.03it/s]
 40%|███████████████████████████████████████████████████████████████▏                                                                                              | 68/170 [01:39<01:24,  1.21it/s]
                                                                                                                                                                                                    
[2024-02-22 18:08:31] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.14.self_attn.o_proj.q_weight", shape: (3072, 512), dtype: uint32
+
 40%|███████████████████████████████████████████████████████████████▏                                                                                              | 68/170 [01:39<01:24,  1.21it/s]
                                                                                                                                                                                                    
[2024-02-22 18:08:31] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.14.self_attn.o_proj.q_scale", shape: (3072, 128), dtype: float16
+
 40%|███████████████████████████████████████████████████████████████▏                                                                                              | 68/170 [01:39<01:24,  1.21it/s]
                                                                                                                                                                                                    
[2024-02-22 18:08:33] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.15.self_attn.qkv_proj.q_weight", shape: (12288, 384), dtype: uint32
+
 40%|███████████████████████████████████████████████████████████████▏                                                                                              | 68/170 [01:41<01:24,  1.21it/s]
                                                                                                                                                                                                    
[2024-02-22 18:08:33] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.15.self_attn.qkv_proj.q_scale", shape: (12288, 96), dtype: float16
+
 40%|███████████████████████████████████████████████████████████████▏                                                                                              | 68/170 [01:41<01:24,  1.21it/s]
 41%|█████████████████████████████████████████████████████████████████                                                                                             | 70/170 [01:41<01:27,  1.14it/s]
                                                                                                                                                                                                    
[2024-02-22 18:08:33] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.15.self_attn.o_proj.q_weight", shape: (3072, 512), dtype: uint32
+
 41%|█████████████████████████████████████████████████████████████████                                                                                             | 70/170 [01:41<01:27,  1.14it/s]
                                                                                                                                                                                                    
[2024-02-22 18:08:33] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.15.self_attn.o_proj.q_scale", shape: (3072, 128), dtype: float16
+
 41%|█████████████████████████████████████████████████████████████████                                                                                             | 70/170 [01:41<01:27,  1.14it/s]
                                                                                                                                                                                                    
[2024-02-22 18:08:33] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.6.input_layernorm.weight", shape: (3072,), dtype: float16
+
 41%|█████████████████████████████████████████████████████████████████                                                                                             | 70/170 [01:41<01:27,  1.14it/s]
                                                                                                                                                                                                    
[2024-02-22 18:08:34] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.6.mlp.down_proj.q_weight", shape: (3072, 3072), dtype: uint32
+
 41%|█████████████████████████████████████████████████████████████████                                                                                             | 70/170 [01:42<01:27,  1.14it/s]
                                                                                                                                                                                                    
[2024-02-22 18:08:34] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.6.mlp.down_proj.q_scale", shape: (3072, 768), dtype: float16
+
 41%|█████████████████████████████████████████████████████████████████                                                                                             | 70/170 [01:42<01:27,  1.14it/s]
 43%|███████████████████████████████████████████████████████████████████▊                                                                                          | 73/170 [01:42<01:00,  1.60it/s]
                                                                                                                                                                                                    
[2024-02-22 18:08:36] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.6.mlp.gate_up_proj.q_weight", shape: (49152, 384), dtype: uint32
+
 43%|███████████████████████████████████████████████████████████████████▊                                                                                          | 73/170 [01:44<01:00,  1.60it/s]
                                                                                                                                                                                                    
[2024-02-22 18:08:36] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.6.mlp.gate_up_proj.q_scale", shape: (49152, 96), dtype: float16
+
 43%|███████████████████████████████████████████████████████████████████▊                                                                                          | 73/170 [01:44<01:00,  1.60it/s]
 44%|████████████████████████████████████████████████████████████████████▊                                                                                         | 74/170 [01:44<01:24,  1.14it/s]
                                                                                                                                                                                                    
[2024-02-22 18:08:36] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.6.post_attention_layernorm.weight", shape: (3072,), dtype: float16
+
 44%|████████████████████████████████████████████████████████████████████▊                                                                                         | 74/170 [01:44<01:24,  1.14it/s]
                                                                                                                                                                                                    
[2024-02-22 18:08:36] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.7.input_layernorm.weight", shape: (3072,), dtype: float16
+
 44%|████████████████████████████████████████████████████████████████████▊                                                                                         | 74/170 [01:44<01:24,  1.14it/s]
                                                                                                                                                                                                    
[2024-02-22 18:08:37] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.7.mlp.down_proj.q_weight", shape: (3072, 3072), dtype: uint32
+
 44%|████████████████████████████████████████████████████████████████████▊                                                                                         | 74/170 [01:44<01:24,  1.14it/s]
                                                                                                                                                                                                    
[2024-02-22 18:08:37] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.7.mlp.down_proj.q_scale", shape: (3072, 768), dtype: float16
+
 44%|████████████████████████████████████████████████████████████████████▊                                                                                         | 74/170 [01:44<01:24,  1.14it/s]
 45%|███████████████████████████████████████████████████████████████████████▌                                                                                      | 77/170 [01:44<00:54,  1.69it/s]
                                                                                                                                                                                                    
[2024-02-22 18:08:39] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.7.mlp.gate_up_proj.q_weight", shape: (49152, 384), dtype: uint32
+
 45%|███████████████████████████████████████████████████████████████████████▌                                                                                      | 77/170 [01:47<00:54,  1.69it/s]
                                                                                                                                                                                                    
[2024-02-22 18:08:39] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.7.mlp.gate_up_proj.q_scale", shape: (49152, 96), dtype: float16
+
 45%|███████████████████████████████████████████████████████████████████████▌                                                                                      | 77/170 [01:47<00:54,  1.69it/s]
 46%|████████████████████████████████████████████████████████████████████████▍                                                                                     | 78/170 [01:47<01:20,  1.15it/s]
                                                                                                                                                                                                    
[2024-02-22 18:08:39] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.7.post_attention_layernorm.weight", shape: (3072,), dtype: float16
+
 46%|████████████████████████████████████████████████████████████████████████▍                                                                                     | 78/170 [01:47<01:20,  1.15it/s]
                                                                                                                                                                                                    
[2024-02-22 18:08:39] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.7.self_attn.qkv_proj.q_weight", shape: (12288, 384), dtype: uint32
+
 46%|████████████████████████████████████████████████████████████████████████▍                                                                                     | 78/170 [01:47<01:20,  1.15it/s]
                                                                                                                                                                                                    
[2024-02-22 18:08:40] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.7.self_attn.qkv_proj.q_scale", shape: (12288, 96), dtype: float16
+
 46%|████████████████████████████████████████████████████████████████████████▍                                                                                     | 78/170 [01:47<01:20,  1.15it/s]
 47%|██████████████████████████████████████████████████████████████████████████▎                                                                                   | 80/170 [01:47<00:59,  1.51it/s]
                                                                                                                                                                                                    
[2024-02-22 18:08:40] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.7.self_attn.o_proj.q_weight", shape: (3072, 512), dtype: uint32
+
 47%|██████████████████████████████████████████████████████████████████████████▎                                                                                   | 80/170 [01:47<00:59,  1.51it/s]
                                                                                                                                                                                                    
[2024-02-22 18:08:40] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.7.self_attn.o_proj.q_scale", shape: (3072, 128), dtype: float16
+
 47%|██████████████████████████████████████████████████████████████████████████▎                                                                                   | 80/170 [01:47<00:59,  1.51it/s]
                                                                                                                                                                                                    
[2024-02-22 18:08:40] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.8.input_layernorm.weight", shape: (3072,), dtype: float16
+
 47%|██████████████████████████████████████████████████████████████████████████▎                                                                                   | 80/170 [01:47<00:59,  1.51it/s]
                                                                                                                                                                                                    
[2024-02-22 18:08:40] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.8.mlp.down_proj.q_weight", shape: (3072, 3072), dtype: uint32
+
 47%|██████████████████████████████████████████████████████████████████████████▎                                                                                   | 80/170 [01:48<00:59,  1.51it/s]
                                                                                                                                                                                                    
[2024-02-22 18:08:40] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.8.mlp.down_proj.q_scale", shape: (3072, 768), dtype: float16
+
 47%|██████████████████████████████████████████████████████████████████████████▎                                                                                   | 80/170 [01:48<00:59,  1.51it/s]
 49%|█████████████████████████████████████████████████████████████████████████████▏                                                                                | 83/170 [01:48<00:42,  2.03it/s]
                                                                                                                                                                                                    
[2024-02-22 18:08:43] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.8.mlp.gate_up_proj.q_weight", shape: (49152, 384), dtype: uint32
+
 49%|█████████████████████████████████████████████████████████████████████████████▏                                                                                | 83/170 [01:50<00:42,  2.03it/s]
                                                                                                                                                                                                    
[2024-02-22 18:08:43] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.8.mlp.gate_up_proj.q_scale", shape: (49152, 96), dtype: float16
+
 49%|█████████████████████████████████████████████████████████████████████████████▏                                                                                | 83/170 [01:50<00:42,  2.03it/s]
 49%|██████████████████████████████████████████████████████████████████████████████                                                                                | 84/170 [01:50<01:10,  1.22it/s]
                                                                                                                                                                                                    
[2024-02-22 18:08:43] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.8.post_attention_layernorm.weight", shape: (3072,), dtype: float16
+
 49%|██████████████████████████████████████████████████████████████████████████████                                                                                | 84/170 [01:50<01:10,  1.22it/s]
                                                                                                                                                                                                    
[2024-02-22 18:08:43] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.8.self_attn.qkv_proj.q_weight", shape: (12288, 384), dtype: uint32
+
 49%|██████████████████████████████████████████████████████████████████████████████                                                                                | 84/170 [01:51<01:10,  1.22it/s]
                                                                                                                                                                                                    
[2024-02-22 18:08:43] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.8.self_attn.qkv_proj.q_scale", shape: (12288, 96), dtype: float16
+
 49%|██████████████████████████████████████████████████████████████████████████████                                                                                | 84/170 [01:51<01:10,  1.22it/s]
 51%|███████████████████████████████████████████████████████████████████████████████▉                                                                              | 86/170 [01:51<00:56,  1.49it/s]
                                                                                                                                                                                                    
[2024-02-22 18:08:44] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.8.self_attn.o_proj.q_weight", shape: (3072, 512), dtype: uint32
+
 51%|███████████████████████████████████████████████████████████████████████████████▉                                                                              | 86/170 [01:51<00:56,  1.49it/s]
                                                                                                                                                                                                    
[2024-02-22 18:08:44] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.8.self_attn.o_proj.q_scale", shape: (3072, 128), dtype: float16
+
 51%|███████████████████████████████████████████████████████████████████████████████▉                                                                              | 86/170 [01:51<00:56,  1.49it/s]
                                                                                                                                                                                                    
[2024-02-22 18:08:44] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.9.input_layernorm.weight", shape: (3072,), dtype: float16
+
 51%|███████████████████████████████████████████████████████████████████████████████▉                                                                              | 86/170 [01:51<00:56,  1.49it/s]
                                                                                                                                                                                                    
[2024-02-22 18:08:44] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.9.mlp.down_proj.q_weight", shape: (3072, 3072), dtype: uint32
+
 51%|███████████████████████████████████████████████████████████████████████████████▉                                                                              | 86/170 [01:52<00:56,  1.49it/s]
                                                                                                                                                                                                    
[2024-02-22 18:08:44] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.9.mlp.down_proj.q_scale", shape: (3072, 768), dtype: float16
+
 51%|███████████████████████████████████████████████████████████████████████████████▉                                                                              | 86/170 [01:52<00:56,  1.49it/s]
 52%|██████████████████████████████████████████████████████████████████████████████████▋                                                                           | 89/170 [01:52<00:42,  1.89it/s]
                                                                                                                                                                                                    
[2024-02-22 18:08:47] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.9.mlp.gate_up_proj.q_weight", shape: (49152, 384), dtype: uint32
+
 52%|██████████████████████████████████████████████████████████████████████████████████▋                                                                           | 89/170 [01:54<00:42,  1.89it/s]
                                                                                                                                                                                                    
[2024-02-22 18:08:47] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.9.mlp.gate_up_proj.q_scale", shape: (49152, 96), dtype: float16
+
 52%|██████████████████████████████████████████████████████████████████████████████████▋                                                                           | 89/170 [01:54<00:42,  1.89it/s]
 53%|███████████████████████████████████████████████████████████████████████████████████▋                                                                          | 90/170 [01:54<01:04,  1.24it/s]
                                                                                                                                                                                                    
[2024-02-22 18:08:47] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.9.post_attention_layernorm.weight", shape: (3072,), dtype: float16
+
 53%|███████████████████████████████████████████████████████████████████████████████████▋                                                                          | 90/170 [01:54<01:04,  1.24it/s]
                                                                                                                                                                                                    
[2024-02-22 18:08:47] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.9.self_attn.qkv_proj.q_weight", shape: (12288, 384), dtype: uint32
+
 53%|███████████████████████████████████████████████████████████████████████████████████▋                                                                          | 90/170 [01:55<01:04,  1.24it/s]
                                                                                                                                                                                                    
[2024-02-22 18:08:47] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.9.self_attn.qkv_proj.q_scale", shape: (12288, 96), dtype: float16
+
 53%|███████████████████████████████████████████████████████████████████████████████████▋                                                                          | 90/170 [01:55<01:04,  1.24it/s]
 54%|█████████████████████████████████████████████████████████████████████████████████████▌                                                                        | 92/170 [01:55<00:50,  1.55it/s]
                                                                                                                                                                                                    
[2024-02-22 18:08:47] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.9.self_attn.o_proj.q_weight", shape: (3072, 512), dtype: uint32
+
 54%|█████████████████████████████████████████████████████████████████████████████████████▌                                                                        | 92/170 [01:55<00:50,  1.55it/s]
                                                                                                                                                                                                    
[2024-02-22 18:08:47] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.9.self_attn.o_proj.q_scale", shape: (3072, 128), dtype: float16
+
 54%|█████████████████████████████████████████████████████████████████████████████████████▌                                                                        | 92/170 [01:55<00:50,  1.55it/s]
                                                                                                                                                                                                    
[2024-02-22 18:08:47] INFO huggingface_loader.py:194: Unloading HF weight file: /models/gemma-7b-it/model-00002-of-00004.safetensors
+
 54%|█████████████████████████████████████████████████████████████████████████████████████▌                                                                        | 92/170 [01:55<00:50,  1.55it/s]
                                                                                                                                                                                                    
[2024-02-22 18:08:48] INFO huggingface_loader.py:182: Loading HF parameters from: /models/gemma-7b-it/model-00003-of-00004.safetensors
+
 54%|█████████████████████████████████████████████████████████████████████████████████████▌                                                                        | 92/170 [01:56<00:50,  1.55it/s]
                                                                                                                                                                                                    
[2024-02-22 18:08:58] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.15.input_layernorm.weight", shape: (3072,), dtype: float16
+
 54%|█████████████████████████████████████████████████████████████████████████████████████▌                                                                        | 92/170 [02:06<00:50,  1.55it/s]
 55%|███████████████████████████████████████████████████████████████████████████████████████▎                                                                      | 94/170 [02:06<02:45,  2.18s/it]
                                                                                                                                                                                                    
[2024-02-22 18:08:59] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.15.mlp.down_proj.q_weight", shape: (3072, 3072), dtype: uint32
+
 55%|███████████████████████████████████████████████████████████████████████████████████████▎                                                                      | 94/170 [02:07<02:45,  2.18s/it]
                                                                                                                                                                                                    
[2024-02-22 18:08:59] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.15.mlp.down_proj.q_scale", shape: (3072, 768), dtype: float16
+
 55%|███████████████████████████████████████████████████████████████████████████████████████▎                                                                      | 94/170 [02:07<02:45,  2.18s/it]
 56%|████████████████████████████████████████████████████████████████████████████████████████▎                                                                     | 95/170 [02:07<02:21,  1.88s/it]
                                                                                                                                                                                                    
[2024-02-22 18:09:01] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.15.mlp.gate_up_proj.q_weight", shape: (49152, 384), dtype: uint32
+
 56%|████████████████████████████████████████████████████████████████████████████████████████▎                                                                     | 95/170 [02:08<02:21,  1.88s/it]
                                                                                                                                                                                                    
[2024-02-22 18:09:01] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.15.mlp.gate_up_proj.q_scale", shape: (49152, 96), dtype: float16
+
 56%|████████████████████████████████████████████████████████████████████████████████████████▎                                                                     | 95/170 [02:09<02:21,  1.88s/it]
 56%|█████████████████████████████████████████████████████████████████████████████████████████▏                                                                    | 96/170 [02:09<02:21,  1.91s/it]
                                                                                                                                                                                                    
[2024-02-22 18:09:01] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.15.post_attention_layernorm.weight", shape: (3072,), dtype: float16
+
 56%|█████████████████████████████████████████████████████████████████████████████████████████▏                                                                    | 96/170 [02:09<02:21,  1.91s/it]
                                                                                                                                                                                                    
[2024-02-22 18:09:01] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.16.input_layernorm.weight", shape: (3072,), dtype: float16
+
 56%|█████████████████████████████████████████████████████████████████████████████████████████▏                                                                    | 96/170 [02:09<02:21,  1.91s/it]
                                                                                                                                                                                                    
[2024-02-22 18:09:02] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.16.mlp.down_proj.q_weight", shape: (3072, 3072), dtype: uint32
+
 56%|█████████████████████████████████████████████████████████████████████████████████████████▏                                                                    | 96/170 [02:10<02:21,  1.91s/it]
                                                                                                                                                                                                    
[2024-02-22 18:09:02] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.16.mlp.down_proj.q_scale", shape: (3072, 768), dtype: float16
+
 56%|█████████████████████████████████████████████████████████████████████████████████████████▏                                                                    | 96/170 [02:10<02:21,  1.91s/it]
 58%|████████████████████████████████████████████████████████████████████████████████████████████                                                                  | 99/170 [02:10<01:24,  1.19s/it]
                                                                                                                                                                                                    
[2024-02-22 18:09:06] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.16.mlp.gate_up_proj.q_weight", shape: (49152, 384), dtype: uint32
+
 58%|████████████████████████████████████████████████████████████████████████████████████████████                                                                  | 99/170 [02:14<01:24,  1.19s/it]
                                                                                                                                                                                                    
[2024-02-22 18:09:06] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.16.mlp.gate_up_proj.q_scale", shape: (49152, 96), dtype: float16
+
 58%|████████████████████████████████████████████████████████████████████████████████████████████                                                                  | 99/170 [02:14<01:24,  1.19s/it]
 59%|████████████████████████████████████████████████████████████████████████████████████████████▎                                                                | 100/170 [02:14<01:58,  1.70s/it]
                                                                                                                                                                                                    
[2024-02-22 18:09:06] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.16.post_attention_layernorm.weight", shape: (3072,), dtype: float16
+
 59%|████████████████████████████████████████████████████████████████████████████████████████████▎                                                                | 100/170 [02:14<01:58,  1.70s/it]
                                                                                                                                                                                                    
[2024-02-22 18:09:07] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.16.self_attn.qkv_proj.q_weight", shape: (12288, 384), dtype: uint32
+
 59%|████████████████████████████████████████████████████████████████████████████████████████████▎                                                                | 100/170 [02:15<01:58,  1.70s/it]
                                                                                                                                                                                                    
[2024-02-22 18:09:07] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.16.self_attn.qkv_proj.q_scale", shape: (12288, 96), dtype: float16
+
 59%|████████████████████████████████████████████████████████████████████████████████████████████▎                                                                | 100/170 [02:15<01:58,  1.70s/it]
 60%|█████████████████████████████████████████████���████████████████████████████████████████████████▏                                                              | 102/170 [02:15<01:30,  1.32s/it]
                                                                                                                                                                                                    
[2024-02-22 18:09:16] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.16.self_attn.o_proj.q_weight", shape: (3072, 512), dtype: uint32
+
 60%|██████████████████████████████████████████████████████████████████████████████████████████████▏                                                              | 102/170 [02:23<01:30,  1.32s/it]
                                                                                                                                                                                                    
[2024-02-22 18:09:16] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.16.self_attn.o_proj.q_scale", shape: (3072, 128), dtype: float16
+
 60%|██████████████████████████████████████████████████████████████████████████████████████████████▏                                                              | 102/170 [02:23<01:30,  1.32s/it]
 61%|███████████████████████████████████████████████████████████████████████████████████████████████                                                              | 103/170 [02:23<02:59,  2.69s/it]
                                                                                                                                                                                                    
[2024-02-22 18:09:16] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.17.input_layernorm.weight", shape: (3072,), dtype: float16
+
 61%|███████████████████████████████████████████████████████████████████████████████████████████████                                                              | 103/170 [02:23<02:59,  2.69s/it]
                                                                                                                                                                                                    
[2024-02-22 18:09:16] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.17.mlp.down_proj.q_weight", shape: (3072, 3072), dtype: uint32
+
 61%|███████████████████████████████████████████████████████████████████████████████████████████████                                                              | 103/170 [02:24<02:59,  2.69s/it]
                                                                                                                                                                                                    
[2024-02-22 18:09:16] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.17.mlp.down_proj.q_scale", shape: (3072, 768), dtype: float16
+
 61%|███████████████████████████████████████████████████████████████████████████████████████████████                                                              | 103/170 [02:24<02:59,  2.69s/it]
 62%|████████████████████████████████████████████████████████████████████████████████████████████████▉                                                            | 105/170 [02:24<01:58,  1.83s/it]
                                                                                                                                                                                                    
[2024-02-22 18:09:18] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.17.mlp.gate_up_proj.q_weight", shape: (49152, 384), dtype: uint32
+
 62%|████████████████████████████████████████████████████████████████████████████████████████████████▉                                                            | 105/170 [02:25<01:58,  1.83s/it]
                                                                                                                                                                                                    
[2024-02-22 18:09:18] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.17.mlp.gate_up_proj.q_scale", shape: (49152, 96), dtype: float16
+
 62%|████████████████████████████████████████████████████████████████████████████████████████████████▉                                                            | 105/170 [02:25<01:58,  1.83s/it]
 62%|█████████████████████████████████████████████████████████████████████████████████████████████████▉                                                           | 106/170 [02:25<01:55,  1.80s/it]
                                                                                                                                                                                                    
[2024-02-22 18:09:18] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.17.post_attention_layernorm.weight", shape: (3072,), dtype: float16
+
 62%|█████████████████████████████████████████████████████████████████████████████████████████████████▉                                                           | 106/170 [02:25<01:55,  1.80s/it]
                                                                                                                                                                                                    
[2024-02-22 18:09:19] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.17.self_attn.qkv_proj.q_weight", shape: (12288, 384), dtype: uint32
+
 62%|█████████████████████████████████████████████████████████████████████████████████████████████████▉                                                           | 106/170 [02:26<01:55,  1.80s/it]
                                                                                                                                                                                                    
[2024-02-22 18:09:19] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.17.self_attn.qkv_proj.q_scale", shape: (12288, 96), dtype: float16
+
 62%|█████████████████████████████████████████████████████████████████████████████████████████████████▉                                                           | 106/170 [02:26<01:55,  1.80s/it]
 64%|███████████████████████████████████████████████████████████████████████████████████████████████████▋                                                         | 108/170 [02:26<01:18,  1.27s/it]
                                                                                                                                                                                                    
[2024-02-22 18:09:19] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.17.self_attn.o_proj.q_weight", shape: (3072, 512), dtype: uint32
+
 64%|███████████████████████████████████████████████████████████████████████████████████████████████████▋                                                         | 108/170 [02:26<01:18,  1.27s/it]
                                                                                                                                                                                                    
[2024-02-22 18:09:19] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.17.self_attn.o_proj.q_scale", shape: (3072, 128), dtype: float16
+
 64%|███████████████████████████████████████████████████████████████████████████████████████████████████▋                                                         | 108/170 [02:26<01:18,  1.27s/it]
                                                                                                                                                                                                    
[2024-02-22 18:09:19] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.18.input_layernorm.weight", shape: (3072,), dtype: float16
+
 64%|███████████████████████████████████████████████████████████████████████████████████████████████████▋                                                         | 108/170 [02:26<01:18,  1.27s/it]
                                                                                                                                                                                                    
[2024-02-22 18:09:19] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.18.mlp.down_proj.q_weight", shape: (3072, 3072), dtype: uint32
+
 64%|███████████████████████████████████████████████████████████████████████████████████████████████████▋                                                         | 108/170 [02:27<01:18,  1.27s/it]
                                                                                                                                                                                                    
[2024-02-22 18:09:19] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.18.mlp.down_proj.q_scale", shape: (3072, 768), dtype: float16
+
 64%|███████████████████████████████████████████████████████████████████████████████████████████████████▋                                                         | 108/170 [02:27<01:18,  1.27s/it]
 65%|██████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                      | 111/170 [02:27<00:46,  1.26it/s]
                                                                                                                                                                                                    
[2024-02-22 18:09:21] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.18.mlp.gate_up_proj.q_weight", shape: (49152, 384), dtype: uint32
+
 65%|██████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                      | 111/170 [02:29<00:46,  1.26it/s]
                                                                                                                                                                                                    
[2024-02-22 18:09:21] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.18.mlp.gate_up_proj.q_scale", shape: (49152, 96), dtype: float16
+
 65%|██████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                      | 111/170 [02:29<00:46,  1.26it/s]
 66%|█████████████████████████████████████████████████████████████████████████████████████████████���█████████▍                                                     | 112/170 [02:29<00:57,  1.01it/s]
                                                                                                                                                                                                    
[2024-02-22 18:09:21] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.18.post_attention_layernorm.weight", shape: (3072,), dtype: float16
+
 66%|███████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                     | 112/170 [02:29<00:57,  1.01it/s]
                                                                                                                                                                                                    
[2024-02-22 18:09:22] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.18.self_attn.qkv_proj.q_weight", shape: (12288, 384), dtype: uint32
+
 66%|███████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                     | 112/170 [02:29<00:57,  1.01it/s]
                                                                                                                                                                                                    
[2024-02-22 18:09:22] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.18.self_attn.qkv_proj.q_scale", shape: (12288, 96), dtype: float16
+
 66%|███████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                     | 112/170 [02:29<00:57,  1.01it/s]
 67%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                   | 114/170 [02:29<00:44,  1.26it/s]
                                                                                                                                                                                                    
[2024-02-22 18:09:22] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.18.self_attn.o_proj.q_weight", shape: (3072, 512), dtype: uint32
+
 67%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                   | 114/170 [02:29<00:44,  1.26it/s]
                                                                                                                                                                                                    
[2024-02-22 18:09:22] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.18.self_attn.o_proj.q_scale", shape: (3072, 128), dtype: float16
+
 67%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                   | 114/170 [02:29<00:44,  1.26it/s]
                                                                                                                                                                                                    
[2024-02-22 18:09:22] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.19.input_layernorm.weight", shape: (3072,), dtype: float16
+
 67%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                   | 114/170 [02:29<00:44,  1.26it/s]
                                                                                                                                                                                                    
[2024-02-22 18:09:23] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.19.mlp.down_proj.q_weight", shape: (3072, 3072), dtype: uint32
+
 67%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                   | 114/170 [02:30<00:44,  1.26it/s]
                                                                                                                                                                                                    
[2024-02-22 18:09:23] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.19.mlp.down_proj.q_scale", shape: (3072, 768), dtype: float16
+
 67%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                   | 114/170 [02:30<00:44,  1.26it/s]
 69%|████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                 | 117/170 [02:30<00:30,  1.73it/s]
                                                                                                                                                                                                    
[2024-02-22 18:09:25] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.19.mlp.gate_up_proj.q_weight", shape: (49152, 384), dtype: uint32
+
 69%|████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                 | 117/170 [02:32<00:30,  1.73it/s]
                                                                                                                                                                                                    
[2024-02-22 18:09:25] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.19.mlp.gate_up_proj.q_scale", shape: (49152, 96), dtype: float16
+
 69%|████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                 | 117/170 [02:32<00:30,  1.73it/s]
 69%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                | 118/170 [02:32<00:43,  1.21it/s]
                                                                                                                                                                                                    
[2024-02-22 18:09:25] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.19.post_attention_layernorm.weight", shape: (3072,), dtype: float16
+
 69%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                | 118/170 [02:32<00:43,  1.21it/s]
                                                                                                                                                                                                    
[2024-02-22 18:09:25] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.19.self_attn.qkv_proj.q_weight", shape: (12288, 384), dtype: uint32
+
 69%|█��██████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                | 118/170 [02:33<00:43,  1.21it/s]
                                                                                                                                                                                                    
[2024-02-22 18:09:25] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.19.self_attn.qkv_proj.q_scale", shape: (12288, 96), dtype: float16
+
 69%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                | 118/170 [02:33<00:43,  1.21it/s]
 71%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                              | 120/170 [02:33<00:32,  1.55it/s]
                                                                                                                                                                                                    
[2024-02-22 18:09:25] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.19.self_attn.o_proj.q_weight", shape: (3072, 512), dtype: uint32
+
 71%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                              | 120/170 [02:33<00:32,  1.55it/s]
                                                                                                                                                                                                    
[2024-02-22 18:09:25] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.19.self_attn.o_proj.q_scale", shape: (3072, 128), dtype: float16
+
 71%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                              | 120/170 [02:33<00:32,  1.55it/s]
 71%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                             | 121/170 [02:33<00:27,  1.81it/s]
                                                                                                                                                                                                    
[2024-02-22 18:09:25] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.20.input_layernorm.weight", shape: (3072,), dtype: float16
+
 71%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                             | 121/170 [02:33<00:27,  1.81it/s]
                                                                                                                                                                                                    
[2024-02-22 18:09:26] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.20.mlp.down_proj.q_weight", shape: (3072, 3072), dtype: uint32
+
 71%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                             | 121/170 [02:34<00:27,  1.81it/s]
                                                                                                                                                                                                    
[2024-02-22 18:09:26] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.20.mlp.down_proj.q_scale", shape: (3072, 768), dtype: float16
+
 71%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                             | 121/170 [02:34<00:27,  1.81it/s]
 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                           | 123/170 [02:34<00:21,  2.14it/s]
                                                                                                                                                                                                    
[2024-02-22 18:09:28] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.20.mlp.gate_up_proj.q_weight", shape: (49152, 384), dtype: uint32
+
 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                           | 123/170 [02:36<00:21,  2.14it/s]
                                                                                                                                                                                                    
[2024-02-22 18:09:28] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.20.mlp.gate_up_proj.q_scale", shape: (49152, 96), dtype: float16
+
 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                           | 123/170 [02:36<00:21,  2.14it/s]
 73%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                          | 124/170 [02:36<00:36,  1.25it/s]
                                                                                                                                                                                                    
[2024-02-22 18:09:28] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.20.post_attention_layernorm.weight", shape: (3072,), dtype: float16
+
 73%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                          | 124/170 [02:36<00:36,  1.25it/s]
                                                                                                                                                                                                    
[2024-02-22 18:09:29] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.20.self_attn.qkv_proj.q_weight", shape: (12288, 384), dtype: uint32
+
 73%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                          | 124/170 [02:36<00:36,  1.25it/s]
                                                                                                                                                                                                    
[2024-02-22 18:09:29] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.20.self_attn.qkv_proj.q_scale", shape: (12288, 96), dtype: float16
+
 73%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                          | 124/170 [02:36<00:36,  1.25it/s]
 74%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                        | 126/170 [02:36<00:27,  1.61it/s]
                                                                                                                                                                                                    
[2024-02-22 18:09:29] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.20.self_attn.o_proj.q_weight", shape: (3072, 512), dtype: uint32
+
 74%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                        | 126/170 [02:36<00:27,  1.61it/s]
                                                                                                                                                                                                    
[2024-02-22 18:09:29] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.20.self_attn.o_proj.q_scale", shape: (3072, 128), dtype: float16
+
 74%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                        | 126/170 [02:36<00:27,  1.61it/s]
                                                                                                                                                                                                    
[2024-02-22 18:09:29] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.21.input_layernorm.weight", shape: (3072,), dtype: float16
+
 74%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                        | 126/170 [02:36<00:27,  1.61it/s]
                                                                                                                                                                                                    
[2024-02-22 18:09:29] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.21.mlp.down_proj.q_weight", shape: (3072, 3072), dtype: uint32
+
 74%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                        | 126/170 [02:37<00:27,  1.61it/s]
                                                                                                                                                                                                    
[2024-02-22 18:09:29] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.21.mlp.down_proj.q_scale", shape: (3072, 768), dtype: float16
+
 74%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                        | 126/170 [02:37<00:27,  1.61it/s]
 76%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                     | 129/170 [02:37<00:18,  2.27it/s]
                                                                                                                                                                                                    
[2024-02-22 18:09:31] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.21.mlp.gate_up_proj.q_weight", shape: (49152, 384), dtype: uint32
+
 76%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                     | 129/170 [02:39<00:18,  2.27it/s]
                                                                                                                                                                                                    
[2024-02-22 18:09:31] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.21.mlp.gate_up_proj.q_scale", shape: (49152, 96), dtype: float16
+
 76%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                     | 129/170 [02:39<00:18,  2.27it/s]
 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                     | 130/170 [02:39<00:28,  1.39it/s]
                                                                                                                                                                                                    
[2024-02-22 18:09:31] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.21.post_attention_layernorm.weight", shape: (3072,), dtype: float16
+
 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                     | 130/170 [02:39<00:28,  1.39it/s]
                                                                                                                                                                                                    
[2024-02-22 18:09:32] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.21.self_attn.qkv_proj.q_weight", shape: (12288, 384), dtype: uint32
+
 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                     | 130/170 [02:40<00:28,  1.39it/s]
                                                                                                                                                                                                    
[2024-02-22 18:09:32] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.21.self_attn.qkv_proj.q_scale", shape: (12288, 96), dtype: float16
+
 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                     | 130/170 [02:40<00:28,  1.39it/s]
 78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                   | 132/170 [02:40<00:22,  1.67it/s]
                                                                                                                                                                                                    
[2024-02-22 18:09:32] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.21.self_attn.o_proj.q_weight", shape: (3072, 512), dtype: uint32
+
 78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                   | 132/170 [02:40<00:22,  1.67it/s]
                                                                                                                                                                                                    
[2024-02-22 18:09:32] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.21.self_attn.o_proj.q_scale", shape: (3072, 128), dtype: float16
+
 78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                   | 132/170 [02:40<00:22,  1.67it/s]
                                                                                                                                                                                                    
[2024-02-22 18:09:32] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.22.input_layernorm.weight", shape: (3072,), dtype: float16
+
 78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                   | 132/170 [02:40<00:22,  1.67it/s]
                                                                                                                                                                                                    
[2024-02-22 18:09:33] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.22.mlp.down_proj.q_weight", shape: (3072, 3072), dtype: uint32
+
 78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                   | 132/170 [02:40<00:22,  1.67it/s]
                                                                                                                                                                                                    
[2024-02-22 18:09:33] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.22.mlp.down_proj.q_scale", shape: (3072, 768), dtype: float16
+
 78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                   | 132/170 [02:40<00:22,  1.67it/s]
 79%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                | 135/170 [02:40<00:15,  2.29it/s]
                                                                                                                                                                                                    
[2024-02-22 18:09:35] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.22.mlp.gate_up_proj.q_weight", shape: (49152, 384), dtype: uint32
+
 79%|█████████████████████████████████████████████████████████████████████████████████████████████████████���██████████████████████▋                                | 135/170 [02:43<00:15,  2.29it/s]
                                                                                                                                                                                                    
[2024-02-22 18:09:35] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.22.mlp.gate_up_proj.q_scale", shape: (49152, 96), dtype: float16
+
 79%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                | 135/170 [02:43<00:15,  2.29it/s]
 80%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                               | 136/170 [02:43<00:24,  1.36it/s]
                                                                                                                                                                                                    
[2024-02-22 18:09:35] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.22.post_attention_layernorm.weight", shape: (3072,), dtype: float16
+
 80%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                               | 136/170 [02:43<00:24,  1.36it/s]
                                                                                                                                                                                                    
[2024-02-22 18:09:36] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.22.self_attn.qkv_proj.q_weight", shape: (12288, 384), dtype: uint32
+
 80%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                               | 136/170 [02:43<00:24,  1.36it/s]
                                                                                                                                                                                                    
[2024-02-22 18:09:36] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.22.self_attn.qkv_proj.q_scale", shape: (12288, 96), dtype: float16
+
 80%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                               | 136/170 [02:43<00:24,  1.36it/s]
 81%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                             | 138/170 [02:43<00:19,  1.68it/s]
                                                                                                                                                                                                    
[2024-02-22 18:09:36] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.22.self_attn.o_proj.q_weight", shape: (3072, 512), dtype: uint32
+
 81%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                             | 138/170 [02:43<00:19,  1.68it/s]
                                                                                                                                                                                                    
[2024-02-22 18:09:36] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.22.self_attn.o_proj.q_scale", shape: (3072, 128), dtype: float16
+
 81%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                             | 138/170 [02:43<00:19,  1.68it/s]
 82%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                            | 139/170 [02:43<00:15,  1.98it/s]
                                                                                                                                                                                                    
[2024-02-22 18:09:36] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.23.input_layernorm.weight", shape: (3072,), dtype: float16
+
 82%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                            | 139/170 [02:43<00:15,  1.98it/s]
                                                                                                                                                                                                    
[2024-02-22 18:09:36] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.23.mlp.down_proj.q_weight", shape: (3072, 3072), dtype: uint32
+
 82%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                            | 139/170 [02:44<00:15,  1.98it/s]
                                                                                                                                                                                                    
[2024-02-22 18:09:36] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.23.mlp.down_proj.q_scale", shape: (3072, 768), dtype: float16
+
 82%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                            | 139/170 [02:44<00:15,  1.98it/s]
 83%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                          | 141/170 [02:44<00:12,  2.36it/s]
                                                                                                                                                                                                    
[2024-02-22 18:09:38] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.23.mlp.gate_up_proj.q_weight", shape: (49152, 384), dtype: uint32
+
 83%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                          | 141/170 [02:46<00:12,  2.36it/s]
                                                                                                                                                                                                    
[2024-02-22 18:09:38] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.23.mlp.gate_up_proj.q_scale", shape: (49152, 96), dtype: float16
+
 83%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                          | 141/170 [02:46<00:12,  2.36it/s]
 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                         | 142/170 [02:46<00:21,  1.31it/s]
                                                                                                                                                                                                    
[2024-02-22 18:09:38] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.23.post_attention_layernorm.weight", shape: (3072,), dtype: float16
+
 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                         | 142/170 [02:46<00:21,  1.31it/s]
                                                                                                                                                                                                    
[2024-02-22 18:09:39] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.23.self_attn.qkv_proj.q_weight", shape: (12288, 384), dtype: uint32
+
 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                         | 142/170 [02:47<00:21,  1.31it/s]
                                                                                                                                                                                                    
[2024-02-22 18:09:39] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.23.self_attn.qkv_proj.q_scale", shape: (12288, 96), dtype: float16
+
 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                         | 142/170 [02:47<00:21,  1.31it/s]
 85%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                        | 144/170 [02:47<00:15,  1.71it/s]
                                                                                                                                                                                                    
[2024-02-22 18:09:39] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.23.self_attn.o_proj.q_weight", shape: (3072, 512), dtype: uint32
+
 85%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                        | 144/170 [02:47<00:15,  1.71it/s]
                                                                                                                                                                                                    
[2024-02-22 18:09:39] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.23.self_attn.o_proj.q_scale", shape: (3072, 128), dtype: float16
+
 85%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                        | 144/170 [02:47<00:15,  1.71it/s]
                                                                                                                                                                                                    
[2024-02-22 18:09:39] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.24.self_attn.qkv_proj.q_weight", shape: (12288, 384), dtype: uint32
+
 85%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                        | 144/170 [02:47<00:15,  1.71it/s]
                                                                                                                                                                                                    
[2024-02-22 18:09:39] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.24.self_attn.qkv_proj.q_scale", shape: (12288, 96), dtype: float16
+
 85%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                        | 144/170 [02:47<00:15,  1.71it/s]
 86%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                      | 146/170 [02:47<00:10,  2.18it/s]
                                                                                                                                                                                                    
[2024-02-22 18:09:40] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.24.self_attn.o_proj.q_weight", shape: (3072, 512), dtype: uint32
+
 86%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                      | 146/170 [02:47<00:10,  2.18it/s]
                                                                                                                                                                                                    
[2024-02-22 18:09:40] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.24.self_attn.o_proj.q_scale", shape: (3072, 128), dtype: float16
+
 86%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                      | 146/170 [02:47<00:10,  2.18it/s]
                                                                                                                                                                                                    
[2024-02-22 18:09:40] INFO huggingface_loader.py:194: Unloading HF weight file: /models/gemma-7b-it/model-00003-of-00004.safetensors
+
 86%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                      | 146/170 [02:47<00:10,  2.18it/s]
                                                                                                                                                                                                    
[2024-02-22 18:09:40] INFO huggingface_loader.py:182: Loading HF parameters from: /models/gemma-7b-it/model-00004-of-00004.safetensors
+
 86%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                      | 146/170 [02:48<00:10,  2.18it/s]
                                                                                                                                                                                                    
[2024-02-22 18:09:45] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.24.input_layernorm.weight", shape: (3072,), dtype: float16
+
 86%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                      | 146/170 [02:52<00:10,  2.18it/s]
 87%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                    | 148/170 [02:52<00:25,  1.16s/it]
                                                                                                                                                                                                    
[2024-02-22 18:09:47] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.24.mlp.down_proj.q_weight", shape: (3072, 3072), dtype: uint32
+
 87%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                    | 148/170 [02:54<00:25,  1.16s/it]
                                                                                                                                                                                                    
[2024-02-22 18:09:47] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.24.mlp.down_proj.q_scale", shape: (3072, 768), dtype: float16
+
 87%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                    | 148/170 [02:54<00:25,  1.16s/it]
 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                   | 149/170 [02:54<00:28,  1.37s/it]
                                                                                                                                                                                                    
[2024-02-22 18:09:51] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.24.mlp.gate_up_proj.q_weight", shape: (49152, 384), dtype: uint32
+
 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                   | 149/170 [02:59<00:28,  1.37s/it]
                                                                                                                                                                                                    
[2024-02-22 18:09:51] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.24.mlp.gate_up_proj.q_scale", shape: (49152, 96), dtype: float16
+
 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                   | 149/170 [02:59<00:28,  1.37s/it]
 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                  | 150/170 [02:59<00:39,  1.97s/it]
                                                                                                                                                                                                    
[2024-02-22 18:09:51] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.24.post_attention_layernorm.weight", shape: (3072,), dtype: float16
+
 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                  | 150/170 [02:59<00:39,  1.97s/it]
                                                                                                                                                                                                    
[2024-02-22 18:09:51] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.25.input_layernorm.weight", shape: (3072,), dtype: float16
+
 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                  | 150/170 [02:59<00:39,  1.97s/it]
                                                                                                                                                                                                    
[2024-02-22 18:09:51] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.25.mlp.down_proj.q_weight", shape: (3072, 3072), dtype: uint32
+
 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                  | 150/170 [02:59<00:39,  1.97s/it]
                                                                                                                                                                                                    
[2024-02-22 18:09:51] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.25.mlp.down_proj.q_scale", shape: (3072, 768), dtype: float16
+
 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                  | 150/170 [02:59<00:39,  1.97s/it]
 90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████���███████▎               | 153/170 [02:59<00:18,  1.09s/it]
                                                                                                                                                                                                    
[2024-02-22 18:09:53] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.25.mlp.gate_up_proj.q_weight", shape: (49152, 384), dtype: uint32
+
 90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎               | 153/170 [03:01<00:18,  1.09s/it]
                                                                                                                                                                                                    
[2024-02-22 18:09:53] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.25.mlp.gate_up_proj.q_scale", shape: (49152, 96), dtype: float16
+
 90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎               | 153/170 [03:01<00:18,  1.09s/it]
 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏              | 154/170 [03:01<00:19,  1.24s/it]
                                                                                                                                                                                                    
[2024-02-22 18:09:53] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.25.post_attention_layernorm.weight", shape: (3072,), dtype: float16
+
 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏              | 154/170 [03:01<00:19,  1.24s/it]
                                                                                                                                                                                                    
[2024-02-22 18:09:54] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.25.self_attn.qkv_proj.q_weight", shape: (12288, 384), dtype: uint32
+
 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏              | 154/170 [03:01<00:19,  1.24s/it]
                                                                                                                                                                                                    
[2024-02-22 18:09:54] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.25.self_attn.qkv_proj.q_scale", shape: (12288, 96), dtype: float16
+
 91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏              | 154/170 [03:01<00:19,  1.24s/it]
 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████��██████████████████████████████████████             | 156/170 [03:01<00:12,  1.16it/s]
                                                                                                                                                                                                    
[2024-02-22 18:09:54] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.25.self_attn.o_proj.q_weight", shape: (3072, 512), dtype: uint32
+
 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████             | 156/170 [03:01<00:12,  1.16it/s]
                                                                                                                                                                                                    
[2024-02-22 18:09:54] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.25.self_attn.o_proj.q_scale", shape: (3072, 128), dtype: float16
+
 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████             | 156/170 [03:01<00:12,  1.16it/s]
                                                                                                                                                                                                    
[2024-02-22 18:09:54] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.26.input_layernorm.weight", shape: (3072,), dtype: float16
+
 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████             | 156/170 [03:01<00:12,  1.16it/s]
                                                                                                                                                                                                    
[2024-02-22 18:09:54] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.26.mlp.down_proj.q_weight", shape: (3072, 3072), dtype: uint32
+
 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████             | 156/170 [03:02<00:12,  1.16it/s]
                                                                                                                                                                                                    
[2024-02-22 18:09:54] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.26.mlp.down_proj.q_scale", shape: (3072, 768), dtype: float16
+
 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████             | 156/170 [03:02<00:12,  1.16it/s]
 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊          | 159/170 [03:02<00:06,  1.73it/s]
                                                                                                                                                                                                    
[2024-02-22 18:09:58] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.26.mlp.gate_up_proj.q_weight", shape: (49152, 384), dtype: uint32
+
 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊          | 159/170 [03:05<00:06,  1.73it/s]
                                                                                                                                                                                                    
[2024-02-22 18:09:58] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.26.mlp.gate_up_proj.q_scale", shape: (49152, 96), dtype: float16
+
 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊          | 159/170 [03:05<00:06,  1.73it/s]
 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊         | 160/170 [03:05<00:10,  1.06s/it]
                                                                                                                                                                                                    
[2024-02-22 18:09:58] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.26.post_attention_layernorm.weight", shape: (3072,), dtype: float16
+
 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊         | 160/170 [03:05<00:10,  1.06s/it]
                                                                                                                                                                                                    
[2024-02-22 18:09:58] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.26.self_attn.qkv_proj.q_weight", shape: (12288, 384), dtype: uint32
+
 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊         | 160/170 [03:06<00:10,  1.06s/it]
                                                                                                                                                                                                    
[2024-02-22 18:09:58] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.26.self_attn.qkv_proj.q_scale", shape: (12288, 96), dtype: float16
+
 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊         | 160/170 [03:06<00:10,  1.06s/it]
 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌       | 162/170 [03:06<00:06,  1.28it/s]
                                                                                                                                                                                                    
[2024-02-22 18:09:58] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.26.self_attn.o_proj.q_weight", shape: (3072, 512), dtype: uint32
+
 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌       | 162/170 [03:06<00:06,  1.28it/s]
                                                                                                                                                                                                    
[2024-02-22 18:09:58] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.26.self_attn.o_proj.q_scale", shape: (3072, 128), dtype: float16
+
 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌       | 162/170 [03:06<00:06,  1.28it/s]
                                                                                                                                                                                                    
[2024-02-22 18:09:58] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.27.input_layernorm.weight", shape: (3072,), dtype: float16
+
 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌       | 162/170 [03:06<00:06,  1.28it/s]
                                                                                                                                                                                                    
[2024-02-22 18:09:59] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.27.mlp.down_proj.q_weight", shape: (3072, 3072), dtype: uint32
+
 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌       | 162/170 [03:06<00:06,  1.28it/s]
                                                                                                                                                                                                    
[2024-02-22 18:09:59] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.27.mlp.down_proj.q_scale", shape: (3072, 768), dtype: float16
+
 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌       | 162/170 [03:06<00:06,  1.28it/s]
 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍    | 165/170 [03:06<00:02,  1.87it/s]
                                                                                                                                                                                                    
[2024-02-22 18:10:01] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.27.mlp.gate_up_proj.q_weight", shape: (49152, 384), dtype: uint32
+
 97%|█████████��██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍    | 165/170 [03:09<00:02,  1.87it/s]
                                                                                                                                                                                                    
[2024-02-22 18:10:01] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.27.mlp.gate_up_proj.q_scale", shape: (49152, 96), dtype: float16
+
 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍    | 165/170 [03:09<00:02,  1.87it/s]
 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎   | 166/170 [03:09<00:03,  1.18it/s]
                                                                                                                                                                                                    
[2024-02-22 18:10:01] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.layers.27.post_attention_layernorm.weight", shape: (3072,), dtype: float16
+
 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎   | 166/170 [03:09<00:03,  1.18it/s]
                                                                                                                                                                                                    
[2024-02-22 18:10:02] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.27.self_attn.qkv_proj.q_weight", shape: (12288, 384), dtype: uint32
+
 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎   | 166/170 [03:10<00:03,  1.18it/s]
                                                                                                                                                                                                    
[2024-02-22 18:10:02] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.27.self_attn.qkv_proj.q_scale", shape: (12288, 96), dtype: float16
+
 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎   | 166/170 [03:10<00:03,  1.18it/s]
 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 168/170 [03:10<00:01,  1.35it/s]
                                                                                                                                                                                                    
[2024-02-22 18:10:02] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.27.self_attn.o_proj.q_weight", shape: (3072, 512), dtype: uint32
+
 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 168/170 [03:10<00:01,  1.35it/s]
                                                                                                                                                                                                    
[2024-02-22 18:10:02] INFO huggingface_loader.py:164: [Quantized] Parameter: "model.layers.27.self_attn.o_proj.q_scale", shape: (3072, 128), dtype: float16
+
 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 168/170 [03:10<00:01,  1.35it/s]
                                                                                                                                                                                                    
[2024-02-22 18:10:02] INFO huggingface_loader.py:172: [Not quantized] Parameter: "model.norm.weight", shape: (3072,), dtype: float16
+
 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 168/170 [03:10<00:01,  1.35it/s]
100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 170/170 [03:10<00:00,  1.12s/it]
+[2024-02-22 18:10:02] INFO huggingface_loader.py:194: Unloading HF weight file: /models/gemma-7b-it/model-00004-of-00004.safetensors
+[2024-02-22 18:10:03] INFO stats.py:76: Time usage: HF loading: 40.673 sec; Pre-quantization mapping: 118.833 sec; Quantization: 12.698 sec
+[2024-02-22 18:10:03] INFO stats.py:90: RAM usage: Peak RAM: 9.305 GB. Total bytes loaded from disk: 31.805 GB
+[2024-02-22 18:10:03] INFO convert_weight.py:132: Parameter size after quantization: 5.526 GB
+[2024-02-22 18:10:03] INFO convert_weight.py:137: Total parameters: 8,537,680,896
+[2024-02-22 18:10:03] INFO convert_weight.py:138: Bits per parameter: 5.560
+Start storing to cache /tmp/tmpqbj3qggh
+

[0001/0282] saving model.embed_tokens.weight
                                            
[0002/0282] saving model.layers.0.input_layernorm.weight
                                                        
[0003/0282] saving model.layers.0.mlp.down_proj.q_weight
                                                        
[0004/0282] saving model.layers.0.mlp.down_proj.q_scale
                                                        
[0005/0282] saving model.layers.0.mlp.gate_up_proj.q_weight
                                                           
[0006/0282] saving model.layers.0.mlp.gate_up_proj.q_scale
                                                           
[0007/0282] saving model.layers.0.post_attention_layernorm.weight
                                                                 
[0008/0282] saving model.layers.0.self_attn.qkv_proj.q_weight
                                                                 
[0009/0282] saving model.layers.0.self_attn.qkv_proj.q_scale
                                                                 
[0010/0282] saving model.layers.0.self_attn.o_proj.q_weight
                                                                 
[0011/0282] saving model.layers.0.self_attn.o_proj.q_scale
                                                                 
[0012/0282] saving model.layers.1.input_layernorm.weight
                                                                 
[0013/0282] saving model.layers.1.mlp.down_proj.q_weight
                                                                 
[0014/0282] saving model.layers.1.mlp.down_proj.q_scale
                                                                 
[0015/0282] saving model.layers.1.mlp.gate_up_proj.q_weight
                                                                 
[0016/0282] saving model.layers.1.mlp.gate_up_proj.q_scale
                                                                 
[0017/0282] saving model.layers.1.post_attention_layernorm.weight
                                                                 
[0018/0282] saving model.layers.1.self_attn.qkv_proj.q_weight
                                                                 
[0019/0282] saving model.layers.1.self_attn.qkv_proj.q_scale
                                                                 
[0020/0282] saving model.layers.1.self_attn.o_proj.q_weight
                                                                 
[0021/0282] saving model.layers.1.self_attn.o_proj.q_scale
                                                                 
[0022/0282] saving model.layers.2.input_layernorm.weight
                                                                 
[0023/0282] saving model.layers.2.mlp.down_proj.q_weight
                                                                 
[0024/0282] saving model.layers.2.mlp.down_proj.q_scale
                                                                 
[0025/0282] saving model.layers.2.mlp.gate_up_proj.q_weight
                                                                 
[0026/0282] saving model.layers.2.mlp.gate_up_proj.q_scale
                                                                 
[0027/0282] saving model.layers.2.post_attention_layernorm.weight
                                                                 
[0028/0282] saving model.layers.2.self_attn.qkv_proj.q_weight
                                                                 
[0029/0282] saving model.layers.2.self_attn.qkv_proj.q_scale
                                                                 
[0030/0282] saving model.layers.2.self_attn.o_proj.q_weight
                                                                 
[0031/0282] saving model.layers.2.self_attn.o_proj.q_scale
                                                                 
[0032/0282] saving model.layers.3.input_layernorm.weight
                                                                 
[0033/0282] saving model.layers.3.mlp.down_proj.q_weight
                                                                 
[0034/0282] saving model.layers.3.mlp.down_proj.q_scale
                                                                 
[0035/0282] saving model.layers.3.mlp.gate_up_proj.q_weight
                                                                 
[0036/0282] saving model.layers.3.mlp.gate_up_proj.q_scale
                                                                 
[0037/0282] saving model.layers.3.post_attention_layernorm.weight
                                                                 
[0038/0282] saving model.layers.3.self_attn.qkv_proj.q_weight
                                                                 
[0039/0282] saving model.layers.3.self_attn.qkv_proj.q_scale
                                                                 
[0040/0282] saving model.layers.3.self_attn.o_proj.q_weight
                                                                 
[0041/0282] saving model.layers.3.self_attn.o_proj.q_scale
                                                                 
[0042/0282] saving model.layers.4.input_layernorm.weight
                                                                 
[0043/0282] saving model.layers.4.mlp.down_proj.q_weight
                                                                 
[0044/0282] saving model.layers.4.mlp.down_proj.q_scale
                                                                 
[0045/0282] saving model.layers.4.mlp.gate_up_proj.q_weight
                                                                 
[0046/0282] saving model.layers.4.mlp.gate_up_proj.q_scale
                                                                 
[0047/0282] saving model.layers.4.post_attention_layernorm.weight
                                                                 
[0048/0282] saving model.layers.4.self_attn.qkv_proj.q_weight
                                                                 
[0049/0282] saving model.layers.4.self_attn.qkv_proj.q_scale
                                                                 
[0050/0282] saving model.layers.4.self_attn.o_proj.q_weight
                                                                 
[0051/0282] saving model.layers.4.self_attn.o_proj.q_scale
                                                                 
[0052/0282] saving model.layers.5.input_layernorm.weight
                                                                 
[0053/0282] saving model.layers.5.mlp.down_proj.q_weight
                                                                 
[0054/0282] saving model.layers.5.mlp.down_proj.q_scale
                                                                 
[0055/0282] saving model.layers.5.mlp.gate_up_proj.q_weight
                                                                 
[0056/0282] saving model.layers.5.mlp.gate_up_proj.q_scale
                                                                 
[0057/0282] saving model.layers.5.post_attention_layernorm.weight
                                                                 
[0058/0282] saving model.layers.5.self_attn.qkv_proj.q_weight
                                                                 
[0059/0282] saving model.layers.5.self_attn.qkv_proj.q_scale
                                                                 
[0060/0282] saving model.layers.5.self_attn.o_proj.q_weight
                                                                 
[0061/0282] saving model.layers.5.self_attn.o_proj.q_scale
                                                                 
[0062/0282] saving model.layers.6.self_attn.qkv_proj.q_weight
                                                                 
[0063/0282] saving model.layers.6.self_attn.qkv_proj.q_scale
                                                                 
[0064/0282] saving model.layers.6.self_attn.o_proj.q_weight
                                                                 
[0065/0282] saving model.layers.6.self_attn.o_proj.q_scale
                                                                 
[0066/0282] saving model.layers.10.input_layernorm.weight
                                                                 
[0067/0282] saving model.layers.10.mlp.down_proj.q_weight
                                                                 
[0068/0282] saving model.layers.10.mlp.down_proj.q_scale
                                                                 
[0069/0282] saving model.layers.10.mlp.gate_up_proj.q_weight
                                                                 
[0070/0282] saving model.layers.10.mlp.gate_up_proj.q_scale
                                                                 
[0071/0282] saving model.layers.10.post_attention_layernorm.weight
                                                                  
[0072/0282] saving model.layers.10.self_attn.qkv_proj.q_weight
                                                                  
[0073/0282] saving model.layers.10.self_attn.qkv_proj.q_scale
                                                                  
[0074/0282] saving model.layers.10.self_attn.o_proj.q_weight
                                                                  
[0075/0282] saving model.layers.10.self_attn.o_proj.q_scale
                                                                  
[0076/0282] saving model.layers.11.input_layernorm.weight
                                                                  
[0077/0282] saving model.layers.11.mlp.down_proj.q_weight
                                                                  
[0078/0282] saving model.layers.11.mlp.down_proj.q_scale
                                                                  
[0079/0282] saving model.layers.11.mlp.gate_up_proj.q_weight
                                                                  
[0080/0282] saving model.layers.11.mlp.gate_up_proj.q_scale
                                                                  
[0081/0282] saving model.layers.11.post_attention_layernorm.weight
                                                                  
[0082/0282] saving model.layers.11.self_attn.qkv_proj.q_weight
                                                                  
[0083/0282] saving model.layers.11.self_attn.qkv_proj.q_scale
                                                                  
[0084/0282] saving model.layers.11.self_attn.o_proj.q_weight
                                                                  
[0085/0282] saving model.layers.11.self_attn.o_proj.q_scale
                                                                  
[0086/0282] saving model.layers.12.input_layernorm.weight
                                                                  
[0087/0282] saving model.layers.12.mlp.down_proj.q_weight
                                                                  
[0088/0282] saving model.layers.12.mlp.down_proj.q_scale
                                                                  
[0089/0282] saving model.layers.12.mlp.gate_up_proj.q_weight
                                                                  
[0090/0282] saving model.layers.12.mlp.gate_up_proj.q_scale
                                                                  
[0091/0282] saving model.layers.12.post_attention_layernorm.weight
                                                                  
[0092/0282] saving model.layers.12.self_attn.qkv_proj.q_weight
                                                                  
[0093/0282] saving model.layers.12.self_attn.qkv_proj.q_scale
                                                                  
[0094/0282] saving model.layers.12.self_attn.o_proj.q_weight
                                                                  
[0095/0282] saving model.layers.12.self_attn.o_proj.q_scale
                                                                  
[0096/0282] saving model.layers.13.input_layernorm.weight
                                                                  
[0097/0282] saving model.layers.13.mlp.down_proj.q_weight
                                                                  
[0098/0282] saving model.layers.13.mlp.down_proj.q_scale
                                                                  
[0099/0282] saving model.layers.13.mlp.gate_up_proj.q_weight
                                                                  
[0100/0282] saving model.layers.13.mlp.gate_up_proj.q_scale
                                                                  
[0101/0282] saving model.layers.13.post_attention_layernorm.weight
                                                                  
[0102/0282] saving model.layers.13.self_attn.qkv_proj.q_weight
                                                                  
[0103/0282] saving model.layers.13.self_attn.qkv_proj.q_scale
                                                                  
[0104/0282] saving model.layers.13.self_attn.o_proj.q_weight
                                                                  
[0105/0282] saving model.layers.13.self_attn.o_proj.q_scale
                                                                  
[0106/0282] saving model.layers.14.input_layernorm.weight
                                                                  
[0107/0282] saving model.layers.14.mlp.down_proj.q_weight
                                                                  
[0108/0282] saving model.layers.14.mlp.down_proj.q_scale
                                                                  
[0109/0282] saving model.layers.14.mlp.gate_up_proj.q_weight
                                                                  
[0110/0282] saving model.layers.14.mlp.gate_up_proj.q_scale
                                                                  
[0111/0282] saving model.layers.14.post_attention_layernorm.weight
                                                                  
[0112/0282] saving model.layers.14.self_attn.qkv_proj.q_weight
                                                                  
[0113/0282] saving model.layers.14.self_attn.qkv_proj.q_scale
                                                                  
[0114/0282] saving model.layers.14.self_attn.o_proj.q_weight
                                                                  
[0115/0282] saving model.layers.14.self_attn.o_proj.q_scale
                                                                  
[0116/0282] saving model.layers.15.self_attn.qkv_proj.q_weight
                                                                  
[0117/0282] saving model.layers.15.self_attn.qkv_proj.q_scale
                                                                  
[0118/0282] saving model.layers.15.self_attn.o_proj.q_weight
                                                                  
[0119/0282] saving model.layers.15.self_attn.o_proj.q_scale
                                                                  
[0120/0282] saving model.layers.6.input_layernorm.weight
                                                                  
[0121/0282] saving model.layers.6.mlp.down_proj.q_weight
                                                                  
[0122/0282] saving model.layers.6.mlp.down_proj.q_scale
                                                                  
[0123/0282] saving model.layers.6.mlp.gate_up_proj.q_weight
                                                                  
[0124/0282] saving model.layers.6.mlp.gate_up_proj.q_scale
                                                                  
[0125/0282] saving model.layers.6.post_attention_layernorm.weight
                                                                  
[0126/0282] saving model.layers.7.input_layernorm.weight
                                                                  
[0127/0282] saving model.layers.7.mlp.down_proj.q_weight
                                                                  
[0128/0282] saving model.layers.7.mlp.down_proj.q_scale
                                                                  
[0129/0282] saving model.layers.7.mlp.gate_up_proj.q_weight
                                                                  
[0130/0282] saving model.layers.7.mlp.gate_up_proj.q_scale
                                                                  
[0131/0282] saving model.layers.7.post_attention_layernorm.weight
                                                                  
[0132/0282] saving model.layers.7.self_attn.qkv_proj.q_weight
                                                                  
[0133/0282] saving model.layers.7.self_attn.qkv_proj.q_scale
                                                                  
[0134/0282] saving model.layers.7.self_attn.o_proj.q_weight
                                                                  
[0135/0282] saving model.layers.7.self_attn.o_proj.q_scale
                                                                  
[0136/0282] saving model.layers.8.input_layernorm.weight
                                                                  
[0137/0282] saving model.layers.8.mlp.down_proj.q_weight
                                                                  
[0138/0282] saving model.layers.8.mlp.down_proj.q_scale
                                                                  
[0139/0282] saving model.layers.8.mlp.gate_up_proj.q_weight
                                                                  
[0140/0282] saving model.layers.8.mlp.gate_up_proj.q_scale
                                                                  
[0141/0282] saving model.layers.8.post_attention_layernorm.weight
                                                                  
[0142/0282] saving model.layers.8.self_attn.qkv_proj.q_weight
                                                                  
[0143/0282] saving model.layers.8.self_attn.qkv_proj.q_scale
                                                                  
[0144/0282] saving model.layers.8.self_attn.o_proj.q_weight
                                                                  
[0145/0282] saving model.layers.8.self_attn.o_proj.q_scale
                                                                  
[0146/0282] saving model.layers.9.input_layernorm.weight
                                                                  
[0147/0282] saving model.layers.9.mlp.down_proj.q_weight
                                                                  
[0148/0282] saving model.layers.9.mlp.down_proj.q_scale
                                                                  
[0149/0282] saving model.layers.9.mlp.gate_up_proj.q_weight
                                                                  
[0150/0282] saving model.layers.9.mlp.gate_up_proj.q_scale
                                                                  
[0151/0282] saving model.layers.9.post_attention_layernorm.weight
                                                                  
[0152/0282] saving model.layers.9.self_attn.qkv_proj.q_weight
                                                                  
[0153/0282] saving model.layers.9.self_attn.qkv_proj.q_scale
                                                                  
[0154/0282] saving model.layers.9.self_attn.o_proj.q_weight
                                                                  
[0155/0282] saving model.layers.9.self_attn.o_proj.q_scale
                                                                  
[0156/0282] saving model.layers.15.input_layernorm.weight
                                                                  
[0157/0282] saving model.layers.15.mlp.down_proj.q_weight
                                                                  
[0158/0282] saving model.layers.15.mlp.down_proj.q_scale
                                                                  
[0159/0282] saving model.layers.15.mlp.gate_up_proj.q_weight
                                                                  
[0160/0282] saving model.layers.15.mlp.gate_up_proj.q_scale
                                                                  
[0161/0282] saving model.layers.15.post_attention_layernorm.weight
                                                                  
[0162/0282] saving model.layers.16.input_layernorm.weight
                                                                  
[0163/0282] saving model.layers.16.mlp.down_proj.q_weight
                                                                  
[0164/0282] saving model.layers.16.mlp.down_proj.q_scale
                                                                  
[0165/0282] saving model.layers.16.mlp.gate_up_proj.q_weight
                                                                  
[0166/0282] saving model.layers.16.mlp.gate_up_proj.q_scale
                                                                  
[0167/0282] saving model.layers.16.post_attention_layernorm.weight
                                                                  
[0168/0282] saving model.layers.16.self_attn.qkv_proj.q_weight
                                                                  
[0169/0282] saving model.layers.16.self_attn.qkv_proj.q_scale
                                                                  
[0170/0282] saving model.layers.16.self_attn.o_proj.q_weight
                                                                  
[0171/0282] saving model.layers.16.self_attn.o_proj.q_scale
                                                                  
[0172/0282] saving model.layers.17.input_layernorm.weight
                                                                  
[0173/0282] saving model.layers.17.mlp.down_proj.q_weight
                                                                  
[0174/0282] saving model.layers.17.mlp.down_proj.q_scale
                                                                  
[0175/0282] saving model.layers.17.mlp.gate_up_proj.q_weight
                                                                  
[0176/0282] saving model.layers.17.mlp.gate_up_proj.q_scale
                                                                  
[0177/0282] saving model.layers.17.post_attention_layernorm.weight
                                                                  
[0178/0282] saving model.layers.17.self_attn.qkv_proj.q_weight
                                                                  
[0179/0282] saving model.layers.17.self_attn.qkv_proj.q_scale
                                                                  
[0180/0282] saving model.layers.17.self_attn.o_proj.q_weight
                                                                  
[0181/0282] saving model.layers.17.self_attn.o_proj.q_scale
                                                                  
[0182/0282] saving model.layers.18.input_layernorm.weight
                                                                  
[0183/0282] saving model.layers.18.mlp.down_proj.q_weight
                                                                  
[0184/0282] saving model.layers.18.mlp.down_proj.q_scale
                                                                  
[0185/0282] saving model.layers.18.mlp.gate_up_proj.q_weight
                                                                  
[0186/0282] saving model.layers.18.mlp.gate_up_proj.q_scale
                                                                  
[0187/0282] saving model.layers.18.post_attention_layernorm.weight
                                                                  
[0188/0282] saving model.layers.18.self_attn.qkv_proj.q_weight
                                                                  
[0189/0282] saving model.layers.18.self_attn.qkv_proj.q_scale
                                                                  
[0190/0282] saving model.layers.18.self_attn.o_proj.q_weight
                                                                  
[0191/0282] saving model.layers.18.self_attn.o_proj.q_scale
                                                                  
[0192/0282] saving model.layers.19.input_layernorm.weight
                                                                  
[0193/0282] saving model.layers.19.mlp.down_proj.q_weight
                                                                  
[0194/0282] saving model.layers.19.mlp.down_proj.q_scale
                                                                  
[0195/0282] saving model.layers.19.mlp.gate_up_proj.q_weight
                                                                  
[0196/0282] saving model.layers.19.mlp.gate_up_proj.q_scale
                                                                  
[0197/0282] saving model.layers.19.post_attention_layernorm.weight
                                                                  
[0198/0282] saving model.layers.19.self_attn.qkv_proj.q_weight
                                                                  
[0199/0282] saving model.layers.19.self_attn.qkv_proj.q_scale
                                                                  
[0200/0282] saving model.layers.19.self_attn.o_proj.q_weight
                                                                  
[0201/0282] saving model.layers.19.self_attn.o_proj.q_scale
                                                                  
[0202/0282] saving model.layers.20.input_layernorm.weight
                                                                  
[0203/0282] saving model.layers.20.mlp.down_proj.q_weight
                                                                  
[0204/0282] saving model.layers.20.mlp.down_proj.q_scale
                                                                  
[0205/0282] saving model.layers.20.mlp.gate_up_proj.q_weight
                                                                  
[0206/0282] saving model.layers.20.mlp.gate_up_proj.q_scale
                                                                  
[0207/0282] saving model.layers.20.post_attention_layernorm.weight
                                                                  
[0208/0282] saving model.layers.20.self_attn.qkv_proj.q_weight
                                                                  
[0209/0282] saving model.layers.20.self_attn.qkv_proj.q_scale
                                                                  
[0210/0282] saving model.layers.20.self_attn.o_proj.q_weight
                                                                  
[0211/0282] saving model.layers.20.self_attn.o_proj.q_scale
                                                                  
[0212/0282] saving model.layers.21.input_layernorm.weight
                                                                  
[0213/0282] saving model.layers.21.mlp.down_proj.q_weight
                                                                  
[0214/0282] saving model.layers.21.mlp.down_proj.q_scale
                                                                  
[0215/0282] saving model.layers.21.mlp.gate_up_proj.q_weight
                                                                  
[0216/0282] saving model.layers.21.mlp.gate_up_proj.q_scale
                                                                  
[0217/0282] saving model.layers.21.post_attention_layernorm.weight
                                                                  
[0218/0282] saving model.layers.21.self_attn.qkv_proj.q_weight
                                                                  
[0219/0282] saving model.layers.21.self_attn.qkv_proj.q_scale
                                                                  
[0220/0282] saving model.layers.21.self_attn.o_proj.q_weight
                                                                  
[0221/0282] saving model.layers.21.self_attn.o_proj.q_scale
                                                                  
[0222/0282] saving model.layers.22.input_layernorm.weight
                                                                  
[0223/0282] saving model.layers.22.mlp.down_proj.q_weight
                                                                  
[0224/0282] saving model.layers.22.mlp.down_proj.q_scale
                                                                  
[0225/0282] saving model.layers.22.mlp.gate_up_proj.q_weight
                                                                  
[0226/0282] saving model.layers.22.mlp.gate_up_proj.q_scale
                                                                  
[0227/0282] saving model.layers.22.post_attention_layernorm.weight
                                                                  
[0228/0282] saving model.layers.22.self_attn.qkv_proj.q_weight
                                                                  
[0229/0282] saving model.layers.22.self_attn.qkv_proj.q_scale
                                                                  
[0230/0282] saving model.layers.22.self_attn.o_proj.q_weight
                                                                  
[0231/0282] saving model.layers.22.self_attn.o_proj.q_scale
                                                                  
[0232/0282] saving model.layers.23.input_layernorm.weight
                                                                  
[0233/0282] saving model.layers.23.mlp.down_proj.q_weight
                                                                  
[0234/0282] saving model.layers.23.mlp.down_proj.q_scale
                                                                  
[0235/0282] saving model.layers.23.mlp.gate_up_proj.q_weight
                                                                  
[0236/0282] saving model.layers.23.mlp.gate_up_proj.q_scale
                                                                  
[0237/0282] saving model.layers.23.post_attention_layernorm.weight
                                                                  
[0238/0282] saving model.layers.23.self_attn.qkv_proj.q_weight
                                                                  
[0239/0282] saving model.layers.23.self_attn.qkv_proj.q_scale
                                                                  
[0240/0282] saving model.layers.23.self_attn.o_proj.q_weight
                                                                  
[0241/0282] saving model.layers.23.self_attn.o_proj.q_scale
                                                                  
[0242/0282] saving model.layers.24.self_attn.qkv_proj.q_weight
                                                                  
[0243/0282] saving model.layers.24.self_attn.qkv_proj.q_scale
                                                                  
[0244/0282] saving model.layers.24.self_attn.o_proj.q_weight
                                                                  
[0245/0282] saving model.layers.24.self_attn.o_proj.q_scale
                                                                  
[0246/0282] saving model.layers.24.input_layernorm.weight
                                                                  
[0247/0282] saving model.layers.24.mlp.down_proj.q_weight
                                                                  
[0248/0282] saving model.layers.24.mlp.down_proj.q_scale
                                                                  
[0249/0282] saving model.layers.24.mlp.gate_up_proj.q_weight
                                                                  
[0250/0282] saving model.layers.24.mlp.gate_up_proj.q_scale
                                                                  
[0251/0282] saving model.layers.24.post_attention_layernorm.weight
                                                                  
[0252/0282] saving model.layers.25.input_layernorm.weight
                                                                  
[0253/0282] saving model.layers.25.mlp.down_proj.q_weight
                                                                  
[0254/0282] saving model.layers.25.mlp.down_proj.q_scale
                                                                  
[0255/0282] saving model.layers.25.mlp.gate_up_proj.q_weight
                                                                  
[0256/0282] saving model.layers.25.mlp.gate_up_proj.q_scale
                                                                  
[0257/0282] saving model.layers.25.post_attention_layernorm.weight[2024-02-22 18:10:30] INFO convert_weight.py:154: Saved to directory: /tmp/tmpqbj3qggh
+
                                                                  
[0258/0282] saving model.layers.25.self_attn.qkv_proj.q_weight
                                                                  
[0259/0282] saving model.layers.25.self_attn.qkv_proj.q_scale
                                                                  
[0260/0282] saving model.layers.25.self_attn.o_proj.q_weight
                                                                  
[0261/0282] saving model.layers.25.self_attn.o_proj.q_scale
                                                                  
[0262/0282] saving model.layers.26.input_layernorm.weight
                                                                  
[0263/0282] saving model.layers.26.mlp.down_proj.q_weight
                                                                  
[0264/0282] saving model.layers.26.mlp.down_proj.q_scale
                                                                  
[0265/0282] saving model.layers.26.mlp.gate_up_proj.q_weight
                                                                  
[0266/0282] saving model.layers.26.mlp.gate_up_proj.q_scale
                                                                  
[0267/0282] saving model.layers.26.post_attention_layernorm.weight
                                                                  
[0268/0282] saving model.layers.26.self_attn.qkv_proj.q_weight
                                                                  
[0269/0282] saving model.layers.26.self_attn.qkv_proj.q_scale
                                                                  
[0270/0282] saving model.layers.26.self_attn.o_proj.q_weight
                                                                  
[0271/0282] saving model.layers.26.self_attn.o_proj.q_scale
                                                                  
[0272/0282] saving model.layers.27.input_layernorm.weight
                                                                  
[0273/0282] saving model.layers.27.mlp.down_proj.q_weight
                                                                  
[0274/0282] saving model.layers.27.mlp.down_proj.q_scale
                                                                  
[0275/0282] saving model.layers.27.mlp.gate_up_proj.q_weight
                                                                  
[0276/0282] saving model.layers.27.mlp.gate_up_proj.q_scale
                                                                  
[0277/0282] saving model.layers.27.post_attention_layernorm.weight
                                                                  
[0278/0282] saving model.layers.27.self_attn.qkv_proj.q_weight
                                                                  
[0279/0282] saving model.layers.27.self_attn.qkv_proj.q_scale
                                                                  
[0280/0282] saving model.layers.27.self_attn.o_proj.q_weight
                                                                  
[0281/0282] saving model.layers.27.self_attn.o_proj.q_scale
                                                                  
[0282/0282] saving model.norm.weight
+All finished, 101 total shards committed, record saved to /tmp/tmpqbj3qggh/ndarray-cache.json