{
    "hidden_size": 768,
    "layer_nums": 12,
    "attention_mask": "int",
    "key_value_shape": [],
    "prompt_template": "<s> %s</s>",
    "is_visual": false
}