python -m mlc_chat gen_config /ssd1/cfruan/mlc-llm-repos/mlc-llm-head/dist/models/phi-1_5 --quantization q0f16 --conv-template phi-2 --output /tmp/tmpwq4gb8ne
[2023-12-28 07:34:22] INFO auto_config.py:115: Found model configuration: /ssd1/cfruan/mlc-llm-repos/mlc-llm-head/dist/models/phi-1_5/config.json
[2023-12-28 07:34:22] INFO auto_config.py:151: Found model type: phi-msft. Use `--model-type` to override.
[2023-12-28 07:34:22] INFO phi_model.py:59: context_window_size not found in config.json. Falling back to n_positions (2048)
[2023-12-28 07:34:22] INFO gen_config.py:129: Not found tokenizer config: /ssd1/cfruan/mlc-llm-repos/mlc-llm-head/dist/models/phi-1_5/tokenizer.model
[2023-12-28 07:34:22] INFO gen_config.py:127: Found tokenizer config: /ssd1/cfruan/mlc-llm-repos/mlc-llm-head/dist/models/phi-1_5/tokenizer.json. Copying to /tmp/tmpwq4gb8ne/tokenizer.json
[2023-12-28 07:34:22] INFO gen_config.py:127: Found tokenizer config: /ssd1/cfruan/mlc-llm-repos/mlc-llm-head/dist/models/phi-1_5/vocab.json. Copying to /tmp/tmpwq4gb8ne/vocab.json
[2023-12-28 07:34:22] INFO gen_config.py:127: Found tokenizer config: /ssd1/cfruan/mlc-llm-repos/mlc-llm-head/dist/models/phi-1_5/merges.txt. Copying to /tmp/tmpwq4gb8ne/merges.txt
[2023-12-28 07:34:22] INFO gen_config.py:127: Found tokenizer config: /ssd1/cfruan/mlc-llm-repos/mlc-llm-head/dist/models/phi-1_5/added_tokens.json. Copying to /tmp/tmpwq4gb8ne/added_tokens.json
[2023-12-28 07:34:22] INFO gen_config.py:127: Found tokenizer config: /ssd1/cfruan/mlc-llm-repos/mlc-llm-head/dist/models/phi-1_5/tokenizer_config.json. Copying to /tmp/tmpwq4gb8ne/tokenizer_config.json
[2023-12-28 07:34:22] INFO gen_config.py:69: [System default] Setting pad_token_id: 0
[2023-12-28 07:34:22] INFO gen_config.py:69: [System default] Setting bos_token_id: 1
[2023-12-28 07:34:22] INFO gen_config.py:69: [System default] Setting eos_token_id: 2
[2023-12-28 07:34:22] INFO gen_config.py:69: [System default] Setting temperature: 0.7
[2023-12-28 07:34:22] INFO gen_config.py:69: [System default] Setting repetition_penalty: 1.0
[2023-12-28 07:34:22] INFO gen_config.py:69: [System default] Setting top_p: 0.95
[2023-12-28 07:34:22] INFO gen_config.py:69: [System default] Setting mean_gen_len: 128
[2023-12-28 07:34:22] INFO gen_config.py:69: [System default] Setting max_gen_len: 512
[2023-12-28 07:34:22] INFO gen_config.py:69: [System default] Setting shift_fill_factor: 0.3
[2023-12-28 07:34:22] INFO gen_config.py:157: Dumping configuration file to: /tmp/tmpwq4gb8ne/mlc-chat-config.json
python -m mlc_chat convert_weight /ssd1/cfruan/mlc-llm-repos/mlc-llm-head/dist/models/phi-1_5 --quantization q0f16 --source-format auto --output /tmp/tmpwq4gb8ne
[2023-12-28 07:34:22] INFO auto_config.py:115: Found model configuration: /ssd1/cfruan/mlc-llm-repos/mlc-llm-head/dist/models/phi-1_5/config.json
[2023-12-28 07:34:23] INFO auto_device.py:75: Found device: cuda:0
[2023-12-28 07:34:23] INFO auto_device.py:75: Found device: cuda:1
[2023-12-28 07:34:23] INFO auto_device.py:84: Not found device: rocm:0
[2023-12-28 07:34:23] INFO auto_device.py:84: Not found device: metal:0
[2023-12-28 07:34:23] INFO auto_device.py:75: Found device: vulkan:0
[2023-12-28 07:34:23] INFO auto_device.py:75: Found device: vulkan:1
[2023-12-28 07:34:23] INFO auto_device.py:75: Found device: vulkan:2
[2023-12-28 07:34:24] INFO auto_device.py:84: Not found device: opencl:0
[2023-12-28 07:34:24] INFO auto_device.py:33: Using device: cuda:0
[2023-12-28 07:34:24] INFO auto_weight.py:70: Finding weights in: /ssd1/cfruan/mlc-llm-repos/mlc-llm-head/dist/models/phi-1_5
[2023-12-28 07:34:24] INFO auto_weight.py:129: Found source weight format: huggingface-torch. Source configuration: /ssd1/cfruan/mlc-llm-repos/mlc-llm-head/dist/models/phi-1_5/pytorch_model.bin
[2023-12-28 07:34:24] INFO auto_weight.py:149: Not found Huggingface Safetensor
[2023-12-28 07:34:24] INFO auto_weight.py:106: Using source weight configuration: /ssd1/cfruan/mlc-llm-repos/mlc-llm-head/dist/models/phi-1_5/pytorch_model.bin. Use `--source` to override.
[2023-12-28 07:34:24] INFO auto_weight.py:110: Using source weight format: huggingface-torch. Use `--source-format` to override.
[2023-12-28 07:34:24] INFO auto_config.py:151: Found model type: phi-msft. Use `--model-type` to override.
[2023-12-28 07:34:24] INFO phi_model.py:59: context_window_size not found in config.json. Falling back to n_positions (2048)
[2023-12-28 07:34:26] INFO huggingface_loader.py:169: Loading HF parameters from: /ssd1/cfruan/mlc-llm-repos/mlc-llm-head/dist/models/phi-1_5/pytorch_model.bin
Weight conversion with arguments:
  --config          /ssd1/cfruan/mlc-llm-repos/mlc-llm-head/dist/models/phi-1_5/config.json
  --quantization    NoQuantize(name='q0f16', kind='no-quant', model_dtype='float16')
  --model-type      phi-msft
  --device          cuda:0
  --source          /ssd1/cfruan/mlc-llm-repos/mlc-llm-head/dist/models/phi-1_5/pytorch_model.bin
  --source-format   huggingface-torch
  --output          /tmp/tmpwq4gb8ne

  0%|                                                                                                                                                                                                                                                                             | 0/245 [00:00<?, ?it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:28] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.embd.weight", shape: (51200, 2048), dtype: float16

  0%|                                                                                                                                                                                                                                                                             | 0/245 [00:00<?, ?it/s]
  0%|█                                                                                                                                                                                                                                                                    | 1/245 [00:00<00:39,  6.21it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:28] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.0.ln.weight", shape: (2048,), dtype: float16

  0%|█                                                                                                                                                                                                                                                                    | 1/245 [00:00<00:39,  6.21it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:28] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.0.ln.bias", shape: (2048,), dtype: float16

  0%|█                                                                                                                                                                                                                                                                    | 1/245 [00:00<00:39,  6.21it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:28] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.0.mixer.Wqkv.weight", shape: (6144, 2048), dtype: float16

  0%|█                                                                                                                                                                                                                                                                    | 1/245 [00:00<00:39,  6.21it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:28] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.0.mixer.Wqkv.bias", shape: (6144,), dtype: float16

  0%|█                                                                                                                                                                                                                                                                    | 1/245 [00:00<00:39,  6.21it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:28] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.0.mixer.out_proj.weight", shape: (2048, 2048), dtype: float16

  0%|█                                                                                                                                                                                                                                                                    | 1/245 [00:00<00:39,  6.21it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:28] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.0.mixer.out_proj.bias", shape: (2048,), dtype: float16

  0%|█                                                                                                                                                                                                                                                                    | 1/245 [00:00<00:39,  6.21it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:28] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.0.mlp.fc1.weight", shape: (8192, 2048), dtype: float16

  0%|█                                                                                                                                                                                                                                                                    | 1/245 [00:00<00:39,  6.21it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:28] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.0.mlp.fc1.bias", shape: (8192,), dtype: float16

  0%|█                                                                                                                                                                                                                                                                    | 1/245 [00:00<00:39,  6.21it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:28] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.0.mlp.fc2.weight", shape: (2048, 8192), dtype: float16

  0%|█                                                                                                                                                                                                                                                                    | 1/245 [00:00<00:39,  6.21it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:28] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.0.mlp.fc2.bias", shape: (2048,), dtype: float16

  0%|█                                                                                                                                                                                                                                                                    | 1/245 [00:00<00:39,  6.21it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:28] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.1.ln.weight", shape: (2048,), dtype: float16

  0%|█                                                                                                                                                                                                                                                                    | 1/245 [00:00<00:39,  6.21it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:28] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.1.ln.bias", shape: (2048,), dtype: float16

  0%|█                                                                                                                                                                                                                                                                    | 1/245 [00:00<00:39,  6.21it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:28] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.1.mixer.Wqkv.weight", shape: (6144, 2048), dtype: float16

  0%|█                                                                                                                                                                                                                                                                    | 1/245 [00:00<00:39,  6.21it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:28] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.1.mixer.Wqkv.bias", shape: (6144,), dtype: float16

  0%|█                                                                                                                                                                                                                                                                    | 1/245 [00:00<00:39,  6.21it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:28] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.1.mixer.out_proj.weight", shape: (2048, 2048), dtype: float16

  0%|█                                                                                                                                                                                                                                                                    | 1/245 [00:00<00:39,  6.21it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:28] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.1.mixer.out_proj.bias", shape: (2048,), dtype: float16

  0%|█                                                                                                                                                                                                                                                                    | 1/245 [00:00<00:39,  6.21it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:28] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.1.mlp.fc1.weight", shape: (8192, 2048), dtype: float16

  0%|█                                                                                                                                                                                                                                                                    | 1/245 [00:00<00:39,  6.21it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:28] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.1.mlp.fc1.bias", shape: (8192,), dtype: float16

  0%|█                                                                                                                                                                                                                                                                    | 1/245 [00:00<00:39,  6.21it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:28] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.1.mlp.fc2.weight", shape: (2048, 8192), dtype: float16

  0%|█                                                                                                                                                                                                                                                                    | 1/245 [00:00<00:39,  6.21it/s]
  8%|█████████████████████▏                                                                                                                                                                                                                                              | 20/245 [00:00<00:02, 91.60it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:28] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.1.mlp.fc2.bias", shape: (2048,), dtype: float16

  8%|█████████████████████▏                                                                                                                                                                                                                                              | 20/245 [00:00<00:02, 91.60it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:28] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.2.ln.weight", shape: (2048,), dtype: float16

  8%|█████████████████████▏                                                                                                                                                                                                                                              | 20/245 [00:00<00:02, 91.60it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:28] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.2.ln.bias", shape: (2048,), dtype: float16

  8%|█████████████████████▏                                                                                                                                                                                                                                              | 20/245 [00:00<00:02, 91.60it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:28] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.2.mixer.Wqkv.weight", shape: (6144, 2048), dtype: float16

  8%|█████████████████████▏                                                                                                                                                                                                                                              | 20/245 [00:00<00:02, 91.60it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:28] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.2.mixer.Wqkv.bias", shape: (6144,), dtype: float16

  8%|█████████████████████▏                                                                                                                                                                                                                                              | 20/245 [00:00<00:02, 91.60it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:28] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.2.mixer.out_proj.weight", shape: (2048, 2048), dtype: float16

  8%|█████████████████████▏                                                                                                                                                                                                                                              | 20/245 [00:00<00:02, 91.60it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:28] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.2.mixer.out_proj.bias", shape: (2048,), dtype: float16

  8%|█████████████████████▏                                                                                                                                                                                                                                              | 20/245 [00:00<00:02, 91.60it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:28] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.2.mlp.fc1.weight", shape: (8192, 2048), dtype: float16

  8%|█████████████████████▏                                                                                                                                                                                                                                              | 20/245 [00:00<00:02, 91.60it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:28] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.2.mlp.fc1.bias", shape: (8192,), dtype: float16

  8%|█████████████████████▏                                                                                                                                                                                                                                              | 20/245 [00:00<00:02, 91.60it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:28] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.2.mlp.fc2.weight", shape: (2048, 8192), dtype: float16

  8%|█████████████████████▏                                                                                                                                                                                                                                              | 20/245 [00:00<00:02, 91.60it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:28] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.2.mlp.fc2.bias", shape: (2048,), dtype: float16

  8%|█████████████████████▏                                                                                                                                                                                                                                              | 20/245 [00:00<00:02, 91.60it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:28] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.3.ln.weight", shape: (2048,), dtype: float16

  8%|█████████████████████▏                                                                                                                                                                                                                                              | 20/245 [00:00<00:02, 91.60it/s]
 13%|█████████████████████████████████▉                                                                                                                                                                                                                                  | 32/245 [00:00<00:02, 93.07it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:28] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.3.ln.bias", shape: (2048,), dtype: float16

 13%|█████████████████████████████████▉                                                                                                                                                                                                                                  | 32/245 [00:00<00:02, 93.07it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:28] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.3.mixer.Wqkv.weight", shape: (6144, 2048), dtype: float16

 13%|█████████████████████████████████▉                                                                                                                                                                                                                                  | 32/245 [00:00<00:02, 93.07it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:28] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.3.mixer.Wqkv.bias", shape: (6144,), dtype: float16

 13%|█████████████████████████████████▉                                                                                                                                                                                                                                  | 32/245 [00:00<00:02, 93.07it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:28] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.3.mixer.out_proj.weight", shape: (2048, 2048), dtype: float16

 13%|█████████████████████████████████▉                                                                                                                                                                                                                                  | 32/245 [00:00<00:02, 93.07it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:28] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.3.mixer.out_proj.bias", shape: (2048,), dtype: float16

 13%|█████████████████████████████████▉                                                                                                                                                                                                                                  | 32/245 [00:00<00:02, 93.07it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:28] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.3.mlp.fc1.weight", shape: (8192, 2048), dtype: float16

 13%|█████████████████████████████████▉                                                                                                                                                                                                                                  | 32/245 [00:00<00:02, 93.07it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:28] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.3.mlp.fc1.bias", shape: (8192,), dtype: float16

 13%|█████████████████████████████████▉                                                                                                                                                                                                                                  | 32/245 [00:00<00:02, 93.07it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:28] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.3.mlp.fc2.weight", shape: (2048, 8192), dtype: float16

 13%|█████████████████████████████████▉                                                                                                                                                                                                                                  | 32/245 [00:00<00:02, 93.07it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:28] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.3.mlp.fc2.bias", shape: (2048,), dtype: float16

 13%|█████████████████████████████████▉                                                                                                                                                                                                                                  | 32/245 [00:00<00:02, 93.07it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:28] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.4.ln.weight", shape: (2048,), dtype: float16

 13%|█████████████████████████████████▉                                                                                                                                                                                                                                  | 32/245 [00:00<00:02, 93.07it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:28] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.4.ln.bias", shape: (2048,), dtype: float16

 13%|█████████████████████████████████▉                                                                                                                                                                                                                                  | 32/245 [00:00<00:02, 93.07it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:28] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.4.mixer.Wqkv.weight", shape: (6144, 2048), dtype: float16

 13%|█████████████████████████████████▉                                                                                                                                                                                                                                  | 32/245 [00:00<00:02, 93.07it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:28] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.4.mixer.Wqkv.bias", shape: (6144,), dtype: float16

 13%|█████████████████████████████████▉                                                                                                                                                                                                                                  | 32/245 [00:00<00:02, 93.07it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:28] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.4.mixer.out_proj.weight", shape: (2048, 2048), dtype: float16

 13%|█████████████████████████████████▉                                                                                                                                                                                                                                  | 32/245 [00:00<00:02, 93.07it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:28] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.4.mixer.out_proj.bias", shape: (2048,), dtype: float16

 13%|█████████████████████████████████▉                                                                                                                                                                                                                                  | 32/245 [00:00<00:02, 93.07it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:28] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.4.mlp.fc1.weight", shape: (8192, 2048), dtype: float16

 13%|█████████████████████████████████▉                                                                                                                                                                                                                                  | 32/245 [00:00<00:02, 93.07it/s]
 20%|██████████████████████████████████████████████████▋                                                                                                                                                                                                                | 48/245 [00:00<00:01, 115.43it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:28] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.4.mlp.fc1.bias", shape: (8192,), dtype: float16

 20%|██████████████████████████████████████████████████▋                                                                                                                                                                                                                | 48/245 [00:00<00:01, 115.43it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:28] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.4.mlp.fc2.weight", shape: (2048, 8192), dtype: float16

 20%|██████████████████████████████████████████████████▋                                                                                                                                                                                                                | 48/245 [00:00<00:01, 115.43it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:28] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.4.mlp.fc2.bias", shape: (2048,), dtype: float16

 20%|██████████████████████████████████████████████████▋                                                                                                                                                                                                                | 48/245 [00:00<00:01, 115.43it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:28] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.5.ln.weight", shape: (2048,), dtype: float16

 20%|██████████████████████████████████████████████████▋                                                                                                                                                                                                                | 48/245 [00:00<00:01, 115.43it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:28] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.5.ln.bias", shape: (2048,), dtype: float16

 20%|██████████████████████████████████████████████████▋                                                                                                                                                                                                                | 48/245 [00:00<00:01, 115.43it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:28] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.5.mixer.Wqkv.weight", shape: (6144, 2048), dtype: float16

 20%|██████████████████████████████████████████████████▋                                                                                                                                                                                                                | 48/245 [00:00<00:01, 115.43it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:28] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.5.mixer.Wqkv.bias", shape: (6144,), dtype: float16

 20%|██████████████████████████████████████████████████▋                                                                                                                                                                                                                | 48/245 [00:00<00:01, 115.43it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:28] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.5.mixer.out_proj.weight", shape: (2048, 2048), dtype: float16

 20%|██████████████████████████████████████████████████▋                                                                                                                                                                                                                | 48/245 [00:00<00:01, 115.43it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:28] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.5.mixer.out_proj.bias", shape: (2048,), dtype: float16

 20%|██████████████████████████████████████████████████▋                                                                                                                                                                                                                | 48/245 [00:00<00:01, 115.43it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.5.mlp.fc1.weight", shape: (8192, 2048), dtype: float16

 20%|██████████████████████████████████████████████████▋                                                                                                                                                                                                                | 48/245 [00:00<00:01, 115.43it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.5.mlp.fc1.bias", shape: (8192,), dtype: float16

 20%|██████████████████████████████████████████████████▋                                                                                                                                                                                                                | 48/245 [00:00<00:01, 115.43it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.5.mlp.fc2.weight", shape: (2048, 8192), dtype: float16

 20%|██████████████████████████████████████████████████▋                                                                                                                                                                                                                | 48/245 [00:00<00:01, 115.43it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.5.mlp.fc2.bias", shape: (2048,), dtype: float16

 20%|██████████████████████████████████████████████████▋                                                                                                                                                                                                                | 48/245 [00:00<00:01, 115.43it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.6.ln.weight", shape: (2048,), dtype: float16

 20%|██████████████████████████████████████████████████▋                                                                                                                                                                                                                | 48/245 [00:00<00:01, 115.43it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.6.ln.bias", shape: (2048,), dtype: float16

 20%|██████████████████████████████████████████████████▋                                                                                                                                                                                                                | 48/245 [00:00<00:01, 115.43it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.6.mixer.Wqkv.weight", shape: (6144, 2048), dtype: float16

 20%|██████████████████████████████████████████████████▋                                                                                                                                                                                                                | 48/245 [00:00<00:01, 115.43it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.6.mixer.Wqkv.bias", shape: (6144,), dtype: float16

 20%|██████████████████████████████████████████████████▋                                                                                                                                                                                                                | 48/245 [00:00<00:01, 115.43it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.6.mixer.out_proj.weight", shape: (2048, 2048), dtype: float16

 20%|██████████████████████████████████████████████████▋                                                                                                                                                                                                                | 48/245 [00:00<00:01, 115.43it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.6.mixer.out_proj.bias", shape: (2048,), dtype: float16

 20%|██████████████████████████████████████████████████▋                                                                                                                                                                                                                | 48/245 [00:00<00:01, 115.43it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.6.mlp.fc1.weight", shape: (8192, 2048), dtype: float16

 20%|██████████████████████████████████████████████████▋                                                                                                                                                                                                                | 48/245 [00:00<00:01, 115.43it/s]
 28%|███████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                           | 68/245 [00:00<00:01, 133.04it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.6.mlp.fc1.bias", shape: (8192,), dtype: float16

 28%|███████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                           | 68/245 [00:00<00:01, 133.04it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.6.mlp.fc2.weight", shape: (2048, 8192), dtype: float16

 28%|███████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                           | 68/245 [00:00<00:01, 133.04it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.6.mlp.fc2.bias", shape: (2048,), dtype: float16

 28%|███████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                           | 68/245 [00:00<00:01, 133.04it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.7.ln.weight", shape: (2048,), dtype: float16

 28%|███████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                           | 68/245 [00:00<00:01, 133.04it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.7.ln.bias", shape: (2048,), dtype: float16

 28%|███████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                           | 68/245 [00:00<00:01, 133.04it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.7.mixer.Wqkv.weight", shape: (6144, 2048), dtype: float16

 28%|███████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                           | 68/245 [00:00<00:01, 133.04it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.7.mixer.Wqkv.bias", shape: (6144,), dtype: float16

 28%|███████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                           | 68/245 [00:00<00:01, 133.04it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.7.mixer.out_proj.weight", shape: (2048, 2048), dtype: float16

 28%|███████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                           | 68/245 [00:00<00:01, 133.04it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.7.mixer.out_proj.bias", shape: (2048,), dtype: float16

 28%|███████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                           | 68/245 [00:00<00:01, 133.04it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.7.mlp.fc1.weight", shape: (8192, 2048), dtype: float16

 28%|███████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                           | 68/245 [00:00<00:01, 133.04it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.7.mlp.fc1.bias", shape: (8192,), dtype: float16

 28%|███████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                           | 68/245 [00:00<00:01, 133.04it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.7.mlp.fc2.weight", shape: (2048, 8192), dtype: float16

 28%|███████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                           | 68/245 [00:00<00:01, 133.04it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.7.mlp.fc2.bias", shape: (2048,), dtype: float16

 28%|███████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                           | 68/245 [00:00<00:01, 133.04it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.8.ln.weight", shape: (2048,), dtype: float16

 28%|███████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                           | 68/245 [00:00<00:01, 133.04it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.8.ln.bias", shape: (2048,), dtype: float16

 28%|███████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                           | 68/245 [00:00<00:01, 133.04it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.8.mixer.Wqkv.weight", shape: (6144, 2048), dtype: float16

 28%|███████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                           | 68/245 [00:00<00:01, 133.04it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.8.mixer.Wqkv.bias", shape: (6144,), dtype: float16

 28%|███████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                           | 68/245 [00:00<00:01, 133.04it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.8.mixer.out_proj.weight", shape: (2048, 2048), dtype: float16

 28%|███████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                           | 68/245 [00:00<00:01, 133.04it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.8.mixer.out_proj.bias", shape: (2048,), dtype: float16

 28%|███████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                           | 68/245 [00:00<00:01, 133.04it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.8.mlp.fc1.weight", shape: (8192, 2048), dtype: float16

 28%|███████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                           | 68/245 [00:00<00:01, 133.04it/s]
 36%|█████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                      | 88/245 [00:00<00:01, 148.08it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.8.mlp.fc1.bias", shape: (8192,), dtype: float16

 36%|█████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                      | 88/245 [00:00<00:01, 148.08it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.8.mlp.fc2.weight", shape: (2048, 8192), dtype: float16

 36%|█████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                      | 88/245 [00:00<00:01, 148.08it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.8.mlp.fc2.bias", shape: (2048,), dtype: float16

 36%|█████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                      | 88/245 [00:00<00:01, 148.08it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.9.ln.weight", shape: (2048,), dtype: float16

 36%|█████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                      | 88/245 [00:00<00:01, 148.08it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.9.ln.bias", shape: (2048,), dtype: float16

 36%|█████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                      | 88/245 [00:00<00:01, 148.08it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.9.mixer.Wqkv.weight", shape: (6144, 2048), dtype: float16

 36%|█████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                      | 88/245 [00:00<00:01, 148.08it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.9.mixer.Wqkv.bias", shape: (6144,), dtype: float16

 36%|█████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                      | 88/245 [00:00<00:01, 148.08it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.9.mixer.out_proj.weight", shape: (2048, 2048), dtype: float16

 36%|█████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                      | 88/245 [00:00<00:01, 148.08it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.9.mixer.out_proj.bias", shape: (2048,), dtype: float16

 36%|█████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                      | 88/245 [00:00<00:01, 148.08it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.9.mlp.fc1.weight", shape: (8192, 2048), dtype: float16

 36%|█████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                      | 88/245 [00:00<00:01, 148.08it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.9.mlp.fc1.bias", shape: (8192,), dtype: float16

 36%|█████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                      | 88/245 [00:00<00:01, 148.08it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.9.mlp.fc2.weight", shape: (2048, 8192), dtype: float16

 36%|█████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                      | 88/245 [00:00<00:01, 148.08it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.9.mlp.fc2.bias", shape: (2048,), dtype: float16

 36%|█████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                      | 88/245 [00:00<00:01, 148.08it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.10.ln.weight", shape: (2048,), dtype: float16

 36%|█████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                      | 88/245 [00:00<00:01, 148.08it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.10.ln.bias", shape: (2048,), dtype: float16

 36%|█████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                      | 88/245 [00:00<00:01, 148.08it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.10.mixer.Wqkv.weight", shape: (6144, 2048), dtype: float16

 36%|█████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                      | 88/245 [00:00<00:01, 148.08it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.10.mixer.Wqkv.bias", shape: (6144,), dtype: float16

 36%|█████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                      | 88/245 [00:00<00:01, 148.08it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.10.mixer.out_proj.weight", shape: (2048, 2048), dtype: float16

 36%|█████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                      | 88/245 [00:00<00:01, 148.08it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.10.mixer.out_proj.bias", shape: (2048,), dtype: float16

 36%|█████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                      | 88/245 [00:00<00:01, 148.08it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.10.mlp.fc1.weight", shape: (8192, 2048), dtype: float16

 36%|█████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                      | 88/245 [00:00<00:01, 148.08it/s]
 44%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                | 108/245 [00:00<00:00, 156.63it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.10.mlp.fc1.bias", shape: (8192,), dtype: float16

 44%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                | 108/245 [00:00<00:00, 156.63it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.10.mlp.fc2.weight", shape: (2048, 8192), dtype: float16

 44%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                | 108/245 [00:00<00:00, 156.63it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.10.mlp.fc2.bias", shape: (2048,), dtype: float16

 44%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                | 108/245 [00:00<00:00, 156.63it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.11.ln.weight", shape: (2048,), dtype: float16

 44%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                | 108/245 [00:00<00:00, 156.63it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.11.ln.bias", shape: (2048,), dtype: float16

 44%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                | 108/245 [00:00<00:00, 156.63it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.11.mixer.Wqkv.weight", shape: (6144, 2048), dtype: float16

 44%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                | 108/245 [00:00<00:00, 156.63it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.11.mixer.Wqkv.bias", shape: (6144,), dtype: float16

 44%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                | 108/245 [00:00<00:00, 156.63it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.11.mixer.out_proj.weight", shape: (2048, 2048), dtype: float16

 44%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                | 108/245 [00:00<00:00, 156.63it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.11.mixer.out_proj.bias", shape: (2048,), dtype: float16

 44%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                | 108/245 [00:00<00:00, 156.63it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.11.mlp.fc1.weight", shape: (8192, 2048), dtype: float16

 44%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                | 108/245 [00:00<00:00, 156.63it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.11.mlp.fc1.bias", shape: (8192,), dtype: float16

 44%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                | 108/245 [00:00<00:00, 156.63it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.11.mlp.fc2.weight", shape: (2048, 8192), dtype: float16

 44%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                | 108/245 [00:00<00:00, 156.63it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.11.mlp.fc2.bias", shape: (2048,), dtype: float16

 44%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                | 108/245 [00:00<00:00, 156.63it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.12.ln.weight", shape: (2048,), dtype: float16

 44%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                | 108/245 [00:00<00:00, 156.63it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.12.ln.bias", shape: (2048,), dtype: float16

 44%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                | 108/245 [00:00<00:00, 156.63it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.12.mixer.Wqkv.weight", shape: (6144, 2048), dtype: float16

 44%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                | 108/245 [00:00<00:00, 156.63it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.12.mixer.Wqkv.bias", shape: (6144,), dtype: float16

 44%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                | 108/245 [00:00<00:00, 156.63it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.12.mixer.out_proj.weight", shape: (2048, 2048), dtype: float16

 44%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                | 108/245 [00:00<00:00, 156.63it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.12.mixer.out_proj.bias", shape: (2048,), dtype: float16

 44%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                | 108/245 [00:00<00:00, 156.63it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.12.mlp.fc1.weight", shape: (8192, 2048), dtype: float16

 44%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                | 108/245 [00:00<00:00, 156.63it/s]
 52%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 128/245 [00:00<00:00, 144.80it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.12.mlp.fc1.bias", shape: (8192,), dtype: float16

 52%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 128/245 [00:00<00:00, 144.80it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.12.mlp.fc2.weight", shape: (2048, 8192), dtype: float16

 52%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 128/245 [00:01<00:00, 144.80it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.12.mlp.fc2.bias", shape: (2048,), dtype: float16

 52%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 128/245 [00:01<00:00, 144.80it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.13.ln.weight", shape: (2048,), dtype: float16

 52%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 128/245 [00:01<00:00, 144.80it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.13.ln.bias", shape: (2048,), dtype: float16

 52%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 128/245 [00:01<00:00, 144.80it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.13.mixer.Wqkv.weight", shape: (6144, 2048), dtype: float16

 52%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 128/245 [00:01<00:00, 144.80it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.13.mixer.Wqkv.bias", shape: (6144,), dtype: float16

 52%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 128/245 [00:01<00:00, 144.80it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.13.mixer.out_proj.weight", shape: (2048, 2048), dtype: float16

 52%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 128/245 [00:01<00:00, 144.80it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.13.mixer.out_proj.bias", shape: (2048,), dtype: float16

 52%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 128/245 [00:01<00:00, 144.80it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.13.mlp.fc1.weight", shape: (8192, 2048), dtype: float16

 52%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 128/245 [00:01<00:00, 144.80it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.13.mlp.fc1.bias", shape: (8192,), dtype: float16

 52%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 128/245 [00:01<00:00, 144.80it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.13.mlp.fc2.weight", shape: (2048, 8192), dtype: float16

 52%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 128/245 [00:01<00:00, 144.80it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.13.mlp.fc2.bias", shape: (2048,), dtype: float16

 52%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 128/245 [00:01<00:00, 144.80it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.14.ln.weight", shape: (2048,), dtype: float16

 52%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 128/245 [00:01<00:00, 144.80it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.14.ln.bias", shape: (2048,), dtype: float16

 52%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 128/245 [00:01<00:00, 144.80it/s]
 58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                           | 143/245 [00:01<00:00, 139.86it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.14.mixer.Wqkv.weight", shape: (6144, 2048), dtype: float16

 58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                           | 143/245 [00:01<00:00, 139.86it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.14.mixer.Wqkv.bias", shape: (6144,), dtype: float16

 58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                           | 143/245 [00:01<00:00, 139.86it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.14.mixer.out_proj.weight", shape: (2048, 2048), dtype: float16

 58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                           | 143/245 [00:01<00:00, 139.86it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.14.mixer.out_proj.bias", shape: (2048,), dtype: float16

 58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                           | 143/245 [00:01<00:00, 139.86it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.14.mlp.fc1.weight", shape: (8192, 2048), dtype: float16

 58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                           | 143/245 [00:01<00:00, 139.86it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.14.mlp.fc1.bias", shape: (8192,), dtype: float16

 58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                           | 143/245 [00:01<00:00, 139.86it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.14.mlp.fc2.weight", shape: (2048, 8192), dtype: float16

 58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                           | 143/245 [00:01<00:00, 139.86it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.14.mlp.fc2.bias", shape: (2048,), dtype: float16

 58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                           | 143/245 [00:01<00:00, 139.86it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.15.ln.weight", shape: (2048,), dtype: float16

 58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                           | 143/245 [00:01<00:00, 139.86it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.15.ln.bias", shape: (2048,), dtype: float16

 58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                           | 143/245 [00:01<00:00, 139.86it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.15.mixer.Wqkv.weight", shape: (6144, 2048), dtype: float16

 58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                           | 143/245 [00:01<00:00, 139.86it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.15.mixer.Wqkv.bias", shape: (6144,), dtype: float16

 58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                           | 143/245 [00:01<00:00, 139.86it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.15.mixer.out_proj.weight", shape: (2048, 2048), dtype: float16

 58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                           | 143/245 [00:01<00:00, 139.86it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.15.mixer.out_proj.bias", shape: (2048,), dtype: float16

 58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                           | 143/245 [00:01<00:00, 139.86it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.15.mlp.fc1.weight", shape: (8192, 2048), dtype: float16

 58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                           | 143/245 [00:01<00:00, 139.86it/s]
 64%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                           | 158/245 [00:01<00:00, 115.74it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.15.mlp.fc1.bias", shape: (8192,), dtype: float16

 64%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                           | 158/245 [00:01<00:00, 115.74it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.15.mlp.fc2.weight", shape: (2048, 8192), dtype: float16

 64%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                           | 158/245 [00:01<00:00, 115.74it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.15.mlp.fc2.bias", shape: (2048,), dtype: float16

 64%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                           | 158/245 [00:01<00:00, 115.74it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.16.ln.weight", shape: (2048,), dtype: float16

 64%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                           | 158/245 [00:01<00:00, 115.74it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.16.ln.bias", shape: (2048,), dtype: float16

 64%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                           | 158/245 [00:01<00:00, 115.74it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.16.mixer.Wqkv.weight", shape: (6144, 2048), dtype: float16

 64%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                           | 158/245 [00:01<00:00, 115.74it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.16.mixer.Wqkv.bias", shape: (6144,), dtype: float16

 64%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                           | 158/245 [00:01<00:00, 115.74it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.16.mixer.out_proj.weight", shape: (2048, 2048), dtype: float16

 64%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                           | 158/245 [00:01<00:00, 115.74it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.16.mixer.out_proj.bias", shape: (2048,), dtype: float16

 64%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                           | 158/245 [00:01<00:00, 115.74it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.16.mlp.fc1.weight", shape: (8192, 2048), dtype: float16

 64%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                           | 158/245 [00:01<00:00, 115.74it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.16.mlp.fc1.bias", shape: (8192,), dtype: float16

 64%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                           | 158/245 [00:01<00:00, 115.74it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.16.mlp.fc2.weight", shape: (2048, 8192), dtype: float16

 64%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                           | 158/245 [00:01<00:00, 115.74it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.16.mlp.fc2.bias", shape: (2048,), dtype: float16

 64%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                           | 158/245 [00:01<00:00, 115.74it/s]
 70%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                              | 171/245 [00:01<00:00, 109.81it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.17.ln.weight", shape: (2048,), dtype: float16

 70%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                              | 171/245 [00:01<00:00, 109.81it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.17.ln.bias", shape: (2048,), dtype: float16

 70%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                              | 171/245 [00:01<00:00, 109.81it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.17.mixer.Wqkv.weight", shape: (6144, 2048), dtype: float16

 70%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                              | 171/245 [00:01<00:00, 109.81it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.17.mixer.Wqkv.bias", shape: (6144,), dtype: float16

 70%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                              | 171/245 [00:01<00:00, 109.81it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.17.mixer.out_proj.weight", shape: (2048, 2048), dtype: float16

 70%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                              | 171/245 [00:01<00:00, 109.81it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.17.mixer.out_proj.bias", shape: (2048,), dtype: float16

 70%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                              | 171/245 [00:01<00:00, 109.81it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.17.mlp.fc1.weight", shape: (8192, 2048), dtype: float16

 70%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                              | 171/245 [00:01<00:00, 109.81it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.17.mlp.fc1.bias", shape: (8192,), dtype: float16

 70%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                              | 171/245 [00:01<00:00, 109.81it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:30] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.17.mlp.fc2.weight", shape: (2048, 8192), dtype: float16

 70%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                              | 171/245 [00:01<00:00, 109.81it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:30] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.17.mlp.fc2.bias", shape: (2048,), dtype: float16

 70%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                              | 171/245 [00:01<00:00, 109.81it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:30] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.18.ln.weight", shape: (2048,), dtype: float16

 70%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                              | 171/245 [00:01<00:00, 109.81it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:30] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.18.ln.bias", shape: (2048,), dtype: float16

 70%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                              | 171/245 [00:01<00:00, 109.81it/s]
 75%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                 | 183/245 [00:01<00:00, 106.14it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:30] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.18.mixer.Wqkv.weight", shape: (6144, 2048), dtype: float16

 75%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                 | 183/245 [00:01<00:00, 106.14it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:30] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.18.mixer.Wqkv.bias", shape: (6144,), dtype: float16

 75%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                 | 183/245 [00:01<00:00, 106.14it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:30] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.18.mixer.out_proj.weight", shape: (2048, 2048), dtype: float16

 75%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                 | 183/245 [00:01<00:00, 106.14it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:30] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.18.mixer.out_proj.bias", shape: (2048,), dtype: float16

 75%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                 | 183/245 [00:01<00:00, 106.14it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:30] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.18.mlp.fc1.weight", shape: (8192, 2048), dtype: float16

 75%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                 | 183/245 [00:01<00:00, 106.14it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:30] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.18.mlp.fc1.bias", shape: (8192,), dtype: float16

 75%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                 | 183/245 [00:01<00:00, 106.14it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:30] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.18.mlp.fc2.weight", shape: (2048, 8192), dtype: float16

 75%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                 | 183/245 [00:01<00:00, 106.14it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:30] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.18.mlp.fc2.bias", shape: (2048,), dtype: float16

 75%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                 | 183/245 [00:01<00:00, 106.14it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:30] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.19.ln.weight", shape: (2048,), dtype: float16

 75%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                 | 183/245 [00:01<00:00, 106.14it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:30] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.19.ln.bias", shape: (2048,), dtype: float16

 75%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                 | 183/245 [00:01<00:00, 106.14it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:30] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.19.mixer.Wqkv.weight", shape: (6144, 2048), dtype: float16

 75%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                 | 183/245 [00:01<00:00, 106.14it/s]
 79%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                     | 194/245 [00:01<00:00, 106.49it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:30] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.19.mixer.Wqkv.bias", shape: (6144,), dtype: float16

 79%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                     | 194/245 [00:01<00:00, 106.49it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:30] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.19.mixer.out_proj.weight", shape: (2048, 2048), dtype: float16

 79%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                     | 194/245 [00:01<00:00, 106.49it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:30] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.19.mixer.out_proj.bias", shape: (2048,), dtype: float16

 79%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                     | 194/245 [00:01<00:00, 106.49it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:30] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.19.mlp.fc1.weight", shape: (8192, 2048), dtype: float16

 79%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                     | 194/245 [00:01<00:00, 106.49it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:30] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.19.mlp.fc1.bias", shape: (8192,), dtype: float16

 79%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                     | 194/245 [00:01<00:00, 106.49it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:30] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.19.mlp.fc2.weight", shape: (2048, 8192), dtype: float16

 79%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                     | 194/245 [00:01<00:00, 106.49it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:30] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.19.mlp.fc2.bias", shape: (2048,), dtype: float16

 79%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                     | 194/245 [00:01<00:00, 106.49it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:30] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.20.ln.weight", shape: (2048,), dtype: float16

 79%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                     | 194/245 [00:01<00:00, 106.49it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:30] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.20.ln.bias", shape: (2048,), dtype: float16

 79%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                     | 194/245 [00:01<00:00, 106.49it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:30] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.20.mixer.Wqkv.weight", shape: (6144, 2048), dtype: float16

 79%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                     | 194/245 [00:01<00:00, 106.49it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:30] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.20.mixer.Wqkv.bias", shape: (6144,), dtype: float16

 79%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                     | 194/245 [00:01<00:00, 106.49it/s]
 84%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                          | 205/245 [00:01<00:00, 92.20it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:30] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.20.mixer.out_proj.weight", shape: (2048, 2048), dtype: float16

 84%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                          | 205/245 [00:01<00:00, 92.20it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:30] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.20.mixer.out_proj.bias", shape: (2048,), dtype: float16

 84%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                          | 205/245 [00:01<00:00, 92.20it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:30] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.20.mlp.fc1.weight", shape: (8192, 2048), dtype: float16

 84%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                          | 205/245 [00:01<00:00, 92.20it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:30] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.20.mlp.fc1.bias", shape: (8192,), dtype: float16

 84%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                          | 205/245 [00:01<00:00, 92.20it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:30] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.20.mlp.fc2.weight", shape: (2048, 8192), dtype: float16

 84%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                          | 205/245 [00:01<00:00, 92.20it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:30] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.20.mlp.fc2.bias", shape: (2048,), dtype: float16

 84%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                          | 205/245 [00:01<00:00, 92.20it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:30] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.21.ln.weight", shape: (2048,), dtype: float16

 84%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                          | 205/245 [00:01<00:00, 92.20it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:30] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.21.ln.bias", shape: (2048,), dtype: float16

 84%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                          | 205/245 [00:01<00:00, 92.20it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:30] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.21.mixer.Wqkv.weight", shape: (6144, 2048), dtype: float16

 84%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                          | 205/245 [00:01<00:00, 92.20it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:30] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.21.mixer.Wqkv.bias", shape: (6144,), dtype: float16

 84%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                          | 205/245 [00:01<00:00, 92.20it/s]
 88%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                               | 215/245 [00:01<00:00, 92.83it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:30] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.21.mixer.out_proj.weight", shape: (2048, 2048), dtype: float16

 88%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                               | 215/245 [00:01<00:00, 92.83it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:30] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.21.mixer.out_proj.bias", shape: (2048,), dtype: float16

 88%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                               | 215/245 [00:01<00:00, 92.83it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:30] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.21.mlp.fc1.weight", shape: (8192, 2048), dtype: float16

 88%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                               | 215/245 [00:01<00:00, 92.83it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:30] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.21.mlp.fc1.bias", shape: (8192,), dtype: float16

 88%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                               | 215/245 [00:01<00:00, 92.83it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:30] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.21.mlp.fc2.weight", shape: (2048, 8192), dtype: float16

 88%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                               | 215/245 [00:02<00:00, 92.83it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:30] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.21.mlp.fc2.bias", shape: (2048,), dtype: float16

 88%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                               | 215/245 [00:02<00:00, 92.83it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:30] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.22.ln.weight", shape: (2048,), dtype: float16

 88%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                               | 215/245 [00:02<00:00, 92.83it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:30] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.22.ln.bias", shape: (2048,), dtype: float16

 88%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                               | 215/245 [00:02<00:00, 92.83it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:30] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.22.mixer.Wqkv.weight", shape: (6144, 2048), dtype: float16

 88%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                               | 215/245 [00:02<00:00, 92.83it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:30] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.22.mixer.Wqkv.bias", shape: (6144,), dtype: float16

 88%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                               | 215/245 [00:02<00:00, 92.83it/s]
 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                     | 225/245 [00:02<00:00, 90.73it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:30] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.22.mixer.out_proj.weight", shape: (2048, 2048), dtype: float16

 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                     | 225/245 [00:02<00:00, 90.73it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:30] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.22.mixer.out_proj.bias", shape: (2048,), dtype: float16

 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                     | 225/245 [00:02<00:00, 90.73it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:30] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.22.mlp.fc1.weight", shape: (8192, 2048), dtype: float16

 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                     | 225/245 [00:02<00:00, 90.73it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:30] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.22.mlp.fc1.bias", shape: (8192,), dtype: float16

 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                     | 225/245 [00:02<00:00, 90.73it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:30] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.22.mlp.fc2.weight", shape: (2048, 8192), dtype: float16

 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                     | 225/245 [00:02<00:00, 90.73it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:30] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.22.mlp.fc2.bias", shape: (2048,), dtype: float16

 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                     | 225/245 [00:02<00:00, 90.73it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:30] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.23.ln.weight", shape: (2048,), dtype: float16

 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                     | 225/245 [00:02<00:00, 90.73it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:30] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.23.ln.bias", shape: (2048,), dtype: float16

 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                     | 225/245 [00:02<00:00, 90.73it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:30] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.23.mixer.Wqkv.weight", shape: (6144, 2048), dtype: float16

 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                     | 225/245 [00:02<00:00, 90.73it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:30] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.23.mixer.Wqkv.bias", shape: (6144,), dtype: float16

 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                     | 225/245 [00:02<00:00, 90.73it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:30] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.23.mixer.out_proj.weight", shape: (2048, 2048), dtype: float16

 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                     | 225/245 [00:02<00:00, 90.73it/s]
 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍         | 236/245 [00:02<00:00, 95.42it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:30] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.23.mixer.out_proj.bias", shape: (2048,), dtype: float16

 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍         | 236/245 [00:02<00:00, 95.42it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:30] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.23.mlp.fc1.weight", shape: (8192, 2048), dtype: float16

 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍         | 236/245 [00:02<00:00, 95.42it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:30] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.23.mlp.fc1.bias", shape: (8192,), dtype: float16

 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍         | 236/245 [00:02<00:00, 95.42it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:30] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.23.mlp.fc2.weight", shape: (2048, 8192), dtype: float16

 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍         | 236/245 [00:02<00:00, 95.42it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:30] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.23.mlp.fc2.bias", shape: (2048,), dtype: float16

 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍         | 236/245 [00:02<00:00, 95.42it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:30] INFO huggingface_loader.py:129: [Not quantized] Parameter: "lm_head.ln.weight", shape: (2048,), dtype: float16

 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍         | 236/245 [00:02<00:00, 95.42it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:30] INFO huggingface_loader.py:129: [Not quantized] Parameter: "lm_head.ln.bias", shape: (2048,), dtype: float16

 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍         | 236/245 [00:02<00:00, 95.42it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:30] INFO huggingface_loader.py:129: [Not quantized] Parameter: "lm_head.linear.weight", shape: (51200, 2048), dtype: float16

 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍         | 236/245 [00:02<00:00, 95.42it/s]
                                                                                                                                                                                                                                                                                                          
[2023-12-28 07:34:30] INFO huggingface_loader.py:129: [Not quantized] Parameter: "lm_head.linear.bias", shape: (51200,), dtype: float16

 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍         | 236/245 [00:02<00:00, 95.42it/s]
100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 245/245 [00:02<00:00, 98.04it/s]
[2023-12-28 07:34:30] INFO huggingface_loader.py:179: Unloading HF weight file: /ssd1/cfruan/mlc-llm-repos/mlc-llm-head/dist/models/phi-1_5/pytorch_model.bin
[2023-12-28 07:34:31] INFO stats.py:71: Time usage: HF loading: 2.217 sec; Pre-quantization mapping: 1.407 sec; Quantization: 0.000 sec
[2023-12-28 07:34:31] INFO stats.py:85: RAM usage: Peak RAM: 2.642 GB. Total bytes loaded from disk: 2.642 GB
[2023-12-28 07:34:31] INFO convert_weight.py:110: Parameter size after quantization: 2.642 GB
[2023-12-28 07:34:31] INFO convert_weight.py:115: Total parameters: 1,418,270,720
[2023-12-28 07:34:31] INFO convert_weight.py:116: Bits per parameter: 16.000
Start storing to cache /tmp/tmpwq4gb8ne


[0001/0245] saving transformer.embd.weight
                                          
[0002/0245] saving transformer.h.0.ln.weight
                                            
[0003/0245] saving transformer.h.0.ln.bias
                                            
[0004/0245] saving transformer.h.0.mixer.Wqkv.weight
                                                    
[0005/0245] saving transformer.h.0.mixer.Wqkv.bias
                                                    
[0006/0245] saving transformer.h.0.mixer.out_proj.weight
                                                        
[0007/0245] saving transformer.h.0.mixer.out_proj.bias
                                                        
[0008/0245] saving transformer.h.0.mlp.fc1.weight
                                                        
[0009/0245] saving transformer.h.0.mlp.fc1.bias
                                                        
[0010/0245] saving transformer.h.0.mlp.fc2.weight
                                                        
[0011/0245] saving transformer.h.0.mlp.fc2.bias
                                                        
[0012/0245] saving transformer.h.1.ln.weight
                                                        
[0013/0245] saving transformer.h.1.ln.bias
                                                        
[0014/0245] saving transformer.h.1.mixer.Wqkv.weight
                                                        
[0015/0245] saving transformer.h.1.mixer.Wqkv.bias
                                                        
[0016/0245] saving transformer.h.1.mixer.out_proj.weight
                                                        
[0017/0245] saving transformer.h.1.mixer.out_proj.bias
                                                        
[0018/0245] saving transformer.h.1.mlp.fc1.weight
                                                        
[0019/0245] saving transformer.h.1.mlp.fc1.bias
                                                        
[0020/0245] saving transformer.h.1.mlp.fc2.weight
                                                        
[0021/0245] saving transformer.h.1.mlp.fc2.bias
                                                        
[0022/0245] saving transformer.h.2.ln.weight
                                                        
[0023/0245] saving transformer.h.2.ln.bias
                                                        
[0024/0245] saving transformer.h.2.mixer.Wqkv.weight
                                                        
[0025/0245] saving transformer.h.2.mixer.Wqkv.bias
                                                        
[0026/0245] saving transformer.h.2.mixer.out_proj.weight
                                                        
[0027/0245] saving transformer.h.2.mixer.out_proj.bias
                                                        
[0028/0245] saving transformer.h.2.mlp.fc1.weight
                                                        
[0029/0245] saving transformer.h.2.mlp.fc1.bias
                                                        
[0030/0245] saving transformer.h.2.mlp.fc2.weight
                                                        
[0031/0245] saving transformer.h.2.mlp.fc2.bias
                                                        
[0032/0245] saving transformer.h.3.ln.weight
                                                        
[0033/0245] saving transformer.h.3.ln.bias
                                                        
[0034/0245] saving transformer.h.3.mixer.Wqkv.weight
                                                        
[0035/0245] saving transformer.h.3.mixer.Wqkv.bias
                                                        
[0036/0245] saving transformer.h.3.mixer.out_proj.weight
                                                        
[0037/0245] saving transformer.h.3.mixer.out_proj.bias
                                                        
[0038/0245] saving transformer.h.3.mlp.fc1.weight
                                                        
[0039/0245] saving transformer.h.3.mlp.fc1.bias
                                                        
[0040/0245] saving transformer.h.3.mlp.fc2.weight
                                                        
[0041/0245] saving transformer.h.3.mlp.fc2.bias
                                                        
[0042/0245] saving transformer.h.4.ln.weight
                                                        
[0043/0245] saving transformer.h.4.ln.bias
                                                        
[0044/0245] saving transformer.h.4.mixer.Wqkv.weight
                                                        
[0045/0245] saving transformer.h.4.mixer.Wqkv.bias
                                                        
[0046/0245] saving transformer.h.4.mixer.out_proj.weight
                                                        
[0047/0245] saving transformer.h.4.mixer.out_proj.bias
                                                        
[0048/0245] saving transformer.h.4.mlp.fc1.weight
                                                        
[0049/0245] saving transformer.h.4.mlp.fc1.bias
                                                        
[0050/0245] saving transformer.h.4.mlp.fc2.weight
                                                        
[0051/0245] saving transformer.h.4.mlp.fc2.bias
                                                        
[0052/0245] saving transformer.h.5.ln.weight
                                                        
[0053/0245] saving transformer.h.5.ln.bias
                                                        
[0054/0245] saving transformer.h.5.mixer.Wqkv.weight
                                                        
[0055/0245] saving transformer.h.5.mixer.Wqkv.bias
                                                        
[0056/0245] saving transformer.h.5.mixer.out_proj.weight
                                                        
[0057/0245] saving transformer.h.5.mixer.out_proj.bias
                                                        
[0058/0245] saving transformer.h.5.mlp.fc1.weight
                                                        
[0059/0245] saving transformer.h.5.mlp.fc1.bias
                                                        
[0060/0245] saving transformer.h.5.mlp.fc2.weight
                                                        
[0061/0245] saving transformer.h.5.mlp.fc2.bias
                                                        
[0062/0245] saving transformer.h.6.ln.weight
                                                        
[0063/0245] saving transformer.h.6.ln.bias
                                                        
[0064/0245] saving transformer.h.6.mixer.Wqkv.weight
                                                        
[0065/0245] saving transformer.h.6.mixer.Wqkv.bias
                                                        
[0066/0245] saving transformer.h.6.mixer.out_proj.weight
                                                        
[0067/0245] saving transformer.h.6.mixer.out_proj.bias
                                                        
[0068/0245] saving transformer.h.6.mlp.fc1.weight
                                                        
[0069/0245] saving transformer.h.6.mlp.fc1.bias
                                                        
[0070/0245] saving transformer.h.6.mlp.fc2.weight
                                                        
[0071/0245] saving transformer.h.6.mlp.fc2.bias
                                                        
[0072/0245] saving transformer.h.7.ln.weight
                                                        
[0073/0245] saving transformer.h.7.ln.bias
                                                        
[0074/0245] saving transformer.h.7.mixer.Wqkv.weight
                                                        
[0075/0245] saving transformer.h.7.mixer.Wqkv.bias
                                                        
[0076/0245] saving transformer.h.7.mixer.out_proj.weight
                                                        
[0077/0245] saving transformer.h.7.mixer.out_proj.bias
                                                        
[0078/0245] saving transformer.h.7.mlp.fc1.weight
                                                        
[0079/0245] saving transformer.h.7.mlp.fc1.bias
                                                        
[0080/0245] saving transformer.h.7.mlp.fc2.weight
                                                        
[0081/0245] saving transformer.h.7.mlp.fc2.bias
                                                        
[0082/0245] saving transformer.h.8.ln.weight
                                                        
[0083/0245] saving transformer.h.8.ln.bias
                                                        
[0084/0245] saving transformer.h.8.mixer.Wqkv.weight
                                                        
[0085/0245] saving transformer.h.8.mixer.Wqkv.bias
                                                        
[0086/0245] saving transformer.h.8.mixer.out_proj.weight
                                                        
[0087/0245] saving transformer.h.8.mixer.out_proj.bias
                                                        
[0088/0245] saving transformer.h.8.mlp.fc1.weight
                                                        
[0089/0245] saving transformer.h.8.mlp.fc1.bias
                                                        
[0090/0245] saving transformer.h.8.mlp.fc2.weight
                                                        
[0091/0245] saving transformer.h.8.mlp.fc2.bias
                                                        
[0092/0245] saving transformer.h.9.ln.weight
                                                        
[0093/0245] saving transformer.h.9.ln.bias
                                                        
[0094/0245] saving transformer.h.9.mixer.Wqkv.weight
                                                        
[0095/0245] saving transformer.h.9.mixer.Wqkv.bias
                                                        
[0096/0245] saving transformer.h.9.mixer.out_proj.weight
                                                        
[0097/0245] saving transformer.h.9.mixer.out_proj.bias
                                                        
[0098/0245] saving transformer.h.9.mlp.fc1.weight
                                                        
[0099/0245] saving transformer.h.9.mlp.fc1.bias
                                                        
[0100/0245] saving transformer.h.9.mlp.fc2.weight
                                                        
[0101/0245] saving transformer.h.9.mlp.fc2.bias
                                                        
[0102/0245] saving transformer.h.10.ln.weight
                                                        
[0103/0245] saving transformer.h.10.ln.bias
                                                        
[0104/0245] saving transformer.h.10.mixer.Wqkv.weight
                                                        
[0105/0245] saving transformer.h.10.mixer.Wqkv.bias
                                                        
[0106/0245] saving transformer.h.10.mixer.out_proj.weight
                                                         
[0107/0245] saving transformer.h.10.mixer.out_proj.bias
                                                         
[0108/0245] saving transformer.h.10.mlp.fc1.weight
                                                         
[0109/0245] saving transformer.h.10.mlp.fc1.bias
                                                         
[0110/0245] saving transformer.h.10.mlp.fc2.weight
                                                         
[0111/0245] saving transformer.h.10.mlp.fc2.bias
                                                         
[0112/0245] saving transformer.h.11.ln.weight
                                                         
[0113/0245] saving transformer.h.11.ln.bias
                                                         
[0114/0245] saving transformer.h.11.mixer.Wqkv.weight
                                                         
[0115/0245] saving transformer.h.11.mixer.Wqkv.bias
                                                         
[0116/0245] saving transformer.h.11.mixer.out_proj.weight
                                                         
[0117/0245] saving transformer.h.11.mixer.out_proj.bias
                                                         
[0118/0245] saving transformer.h.11.mlp.fc1.weight
                                                         
[0119/0245] saving transformer.h.11.mlp.fc1.bias
                                                         
[0120/0245] saving transformer.h.11.mlp.fc2.weight
                                                         
[0121/0245] saving transformer.h.11.mlp.fc2.bias
                                                         
[0122/0245] saving transformer.h.12.ln.weight
                                                         
[0123/0245] saving transformer.h.12.ln.bias
                                                         
[0124/0245] saving transformer.h.12.mixer.Wqkv.weight
                                                         
[0125/0245] saving transformer.h.12.mixer.Wqkv.bias
                                                         
[0126/0245] saving transformer.h.12.mixer.out_proj.weight
                                                         
[0127/0245] saving transformer.h.12.mixer.out_proj.bias
                                                         
[0128/0245] saving transformer.h.12.mlp.fc1.weight
                                                         
[0129/0245] saving transformer.h.12.mlp.fc1.bias
                                                         
[0130/0245] saving transformer.h.12.mlp.fc2.weight
                                                         
[0131/0245] saving transformer.h.12.mlp.fc2.bias
                                                         
[0132/0245] saving transformer.h.13.ln.weight
                                                         
[0133/0245] saving transformer.h.13.ln.bias
                                                         
[0134/0245] saving transformer.h.13.mixer.Wqkv.weight
                                                         
[0135/0245] saving transformer.h.13.mixer.Wqkv.bias
                                                         
[0136/0245] saving transformer.h.13.mixer.out_proj.weight
                                                         
[0137/0245] saving transformer.h.13.mixer.out_proj.bias
                                                         
[0138/0245] saving transformer.h.13.mlp.fc1.weight
                                                         
[0139/0245] saving transformer.h.13.mlp.fc1.bias
                                                         
[0140/0245] saving transformer.h.13.mlp.fc2.weight
                                                         
[0141/0245] saving transformer.h.13.mlp.fc2.bias
                                                         
[0142/0245] saving transformer.h.14.ln.weight
                                                         
[0143/0245] saving transformer.h.14.ln.bias
                                                         
[0144/0245] saving transformer.h.14.mixer.Wqkv.weight
                                                         
[0145/0245] saving transformer.h.14.mixer.Wqkv.bias
                                                         
[0146/0245] saving transformer.h.14.mixer.out_proj.weight
                                                         
[0147/0245] saving transformer.h.14.mixer.out_proj.bias
                                                         
[0148/0245] saving transformer.h.14.mlp.fc1.weight
                                                         
[0149/0245] saving transformer.h.14.mlp.fc1.bias
                                                         
[0150/0245] saving transformer.h.14.mlp.fc2.weight
                                                         
[0151/0245] saving transformer.h.14.mlp.fc2.bias
                                                         
[0152/0245] saving transformer.h.15.ln.weight
                                                         
[0153/0245] saving transformer.h.15.ln.bias
                                                         
[0154/0245] saving transformer.h.15.mixer.Wqkv.weight
                                                         
[0155/0245] saving transformer.h.15.mixer.Wqkv.bias
                                                         
[0156/0245] saving transformer.h.15.mixer.out_proj.weight
                                                         
[0157/0245] saving transformer.h.15.mixer.out_proj.bias
                                                         
[0158/0245] saving transformer.h.15.mlp.fc1.weight
                                                         
[0159/0245] saving transformer.h.15.mlp.fc1.bias
                                                         
[0160/0245] saving transformer.h.15.mlp.fc2.weight
                                                         
[0161/0245] saving transformer.h.15.mlp.fc2.bias
                                                         
[0162/0245] saving transformer.h.16.ln.weight
                                                         
[0163/0245] saving transformer.h.16.ln.bias
                                                         
[0164/0245] saving transformer.h.16.mixer.Wqkv.weight
                                                         
[0165/0245] saving transformer.h.16.mixer.Wqkv.bias
                                                         
[0166/0245] saving transformer.h.16.mixer.out_proj.weight
                                                         
[0167/0245] saving transformer.h.16.mixer.out_proj.bias
                                                         
[0168/0245] saving transformer.h.16.mlp.fc1.weight
                                                         
[0169/0245] saving transformer.h.16.mlp.fc1.bias
                                                         
[0170/0245] saving transformer.h.16.mlp.fc2.weight
                                                         
[0171/0245] saving transformer.h.16.mlp.fc2.bias
                                                         
[0172/0245] saving transformer.h.17.ln.weight
                                                         
[0173/0245] saving transformer.h.17.ln.bias
                                                         
[0174/0245] saving transformer.h.17.mixer.Wqkv.weight
                                                         
[0175/0245] saving transformer.h.17.mixer.Wqkv.bias
                                                         
[0176/0245] saving transformer.h.17.mixer.out_proj.weight
                                                         
[0177/0245] saving transformer.h.17.mixer.out_proj.bias
                                                         
[0178/0245] saving transformer.h.17.mlp.fc1.weight
                                                         
[0179/0245] saving transformer.h.17.mlp.fc1.bias
                                                         
[0180/0245] saving transformer.h.17.mlp.fc2.weight
                                                         
[0181/0245] saving transformer.h.17.mlp.fc2.bias
                                                         
[0182/0245] saving transformer.h.18.ln.weight
                                                         
[0183/0245] saving transformer.h.18.ln.bias
                                                         
[0184/0245] saving transformer.h.18.mixer.Wqkv.weight
                                                         
[0185/0245] saving transformer.h.18.mixer.Wqkv.bias
                                                         
[0186/0245] saving transformer.h.18.mixer.out_proj.weight
                                                         
[0187/0245] saving transformer.h.18.mixer.out_proj.bias
                                                         
[0188/0245] saving transformer.h.18.mlp.fc1.weight
                                                         
[0189/0245] saving transformer.h.18.mlp.fc1.bias
                                                         
[0190/0245] saving transformer.h.18.mlp.fc2.weight
                                                         
[0191/0245] saving transformer.h.18.mlp.fc2.bias
                                                         
[0192/0245] saving transformer.h.19.ln.weight
                                                         
[0193/0245] saving transformer.h.19.ln.bias
                                                         
[0194/0245] saving transformer.h.19.mixer.Wqkv.weight
                                                         
[0195/0245] saving transformer.h.19.mixer.Wqkv.bias
                                                         
[0196/0245] saving transformer.h.19.mixer.out_proj.weight
                                                         
[0197/0245] saving transformer.h.19.mixer.out_proj.bias
                                                         
[0198/0245] saving transformer.h.19.mlp.fc1.weight
                                                         
[0199/0245] saving transformer.h.19.mlp.fc1.bias
                                                         
[0200/0245] saving transformer.h.19.mlp.fc2.weight
                                                         
[0201/0245] saving transformer.h.19.mlp.fc2.bias
                                                         
[0202/0245] saving transformer.h.20.ln.weight
                                                         
[0203/0245] saving transformer.h.20.ln.bias
                                                         
[0204/0245] saving transformer.h.20.mixer.Wqkv.weight
                                                         
[0205/0245] saving transformer.h.20.mixer.Wqkv.bias
                                                         
[0206/0245] saving transformer.h.20.mixer.out_proj.weight
                                                         
[0207/0245] saving transformer.h.20.mixer.out_proj.bias
                                                         
[0208/0245] saving transformer.h.20.mlp.fc1.weight
                                                         
[0209/0245] saving transformer.h.20.mlp.fc1.bias
                                                         
[0210/0245] saving transformer.h.20.mlp.fc2.weight
                                                         
[0211/0245] saving transformer.h.20.mlp.fc2.bias
                                                         
[0212/0245] saving transformer.h.21.ln.weight
                                                         
[0213/0245] saving transformer.h.21.ln.bias
                                                         
[0214/0245] saving transformer.h.21.mixer.Wqkv.weight
                                                         
[0215/0245] saving transformer.h.21.mixer.Wqkv.bias
                                                         
[0216/0245] saving transformer.h.21.mixer.out_proj.weight
                                                         
[0217/0245] saving transformer.h.21.mixer.out_proj.bias
                                                         
[0218/0245] saving transformer.h.21.mlp.fc1.weight
                                                         
[0219/0245] saving transformer.h.21.mlp.fc1.bias
                                                         
[0220/0245] saving transformer.h.21.mlp.fc2.weight
                                                         
[0221/0245] saving transformer.h.21.mlp.fc2.bias
                                                         
[0222/0245] saving transformer.h.22.ln.weight
                                                         
[0223/0245] saving transformer.h.22.ln.bias
                                                         
[0224/0245] saving transformer.h.22.mixer.Wqkv.weight
                                                         
[0225/0245] saving transformer.h.22.mixer.Wqkv.bias
                                                         
[0226/0245] saving transformer.h.22.mixer.out_proj.weight
                                                         
[0227/0245] saving transformer.h.22.mixer.out_proj.bias[2023-12-28 07:34:37] INFO convert_weight.py:132: Saved to directory: /tmp/tmpwq4gb8ne

                                                         
[0228/0245] saving transformer.h.22.mlp.fc1.weight
                                                         
[0229/0245] saving transformer.h.22.mlp.fc1.bias
                                                         
[0230/0245] saving transformer.h.22.mlp.fc2.weight
                                                         
[0231/0245] saving transformer.h.22.mlp.fc2.bias
                                                         
[0232/0245] saving transformer.h.23.ln.weight
                                                         
[0233/0245] saving transformer.h.23.ln.bias
                                                         
[0234/0245] saving transformer.h.23.mixer.Wqkv.weight
                                                         
[0235/0245] saving transformer.h.23.mixer.Wqkv.bias
                                                         
[0236/0245] saving transformer.h.23.mixer.out_proj.weight
                                                         
[0237/0245] saving transformer.h.23.mixer.out_proj.bias
                                                         
[0238/0245] saving transformer.h.23.mlp.fc1.weight
                                                         
[0239/0245] saving transformer.h.23.mlp.fc1.bias
                                                         
[0240/0245] saving transformer.h.23.mlp.fc2.weight
                                                         
[0241/0245] saving transformer.h.23.mlp.fc2.bias
                                                         
[0242/0245] saving lm_head.ln.weight
                                                         
[0243/0245] saving lm_head.ln.bias
                                                         
[0244/0245] saving lm_head.linear.weight
                                                         
[0245/0245] saving lm_head.linear.bias
All finished, 82 total shards committed, record saved to /tmp/tmpwq4gb8ne/ndarray-cache.json