1.5b_config.json

{"num_layers": 30, "hidden_size": 1152, "state_size": 16, "conv_dimension": 4, "vocab_size": 50304, "expansion_factor": 2, "mamba_moe_layers": ["r", "8", "r", "8", "r", "8", "r", "8", "r", "8", "r", "8", "r", "8", "r", "8", "r", "8", "r", "8", "r", "8", "r", "8", "r", "8", "r", "8", "r", "8"], "ffn_hidden_size": 3072, "bias": false, "add_bias_linear": false, "swiglu": true, "max_sequence_length": 2048}