compress_ratios/compress_layer/cutoff_layers参数设置建议?
您好~
model-card里面提到,bench-mark里面节省flop的配置是compress_ratios=2, compress_layer=[8], cutoff_layers=[25]
请问这三个参数有更合适的取值吗?比如您给的示例代码:
cutoff_layers=[28],
compress_ratio=2,
ompress_layer=[24, 40]
这个配置是否合适呢?或者有其他更合适的?
这三个参数提供了多种可选值,您可以根据具体需求进行调整。
通常来说,将cutoff_layers设置在20到30之间较为合适,您可以根据对资源节省的需求来调整compress_ratio和compress_layer。
这三个参数提供了多种可选值,您可以根据具体需求进行调整。
通常来说,将cutoff_layers设置在20到30之间较为合适,您可以根据对资源节省的需求来调整compress_ratio和compress_layer。
compress_ratio能否是浮点数,例如设置成1.5这样
这三个参数提供了多种可选值,您可以根据具体需求进行调整。
通常来说,将cutoff_layers设置在20到30之间较为合适,您可以根据对资源节省的需求来调整compress_ratio和compress_layer。compress_ratio能否是浮点数,例如设置成1.5这样
这个参数只能是整数,可以设置为1, 2, 4, 8中的一种使用
这三个参数提供了多种可选值,您可以根据具体需求进行调整。
通常来说,将cutoff_layers设置在20到30之间较为合适,您可以根据对资源节省的需求来调整compress_ratio和compress_layer。
这样设置之后,会对模型的性能输出结果吗?
这三个参数提供了多种可选值,您可以根据具体需求进行调整。
通常来说,将cutoff_layers设置在20到30之间较为合适,您可以根据对资源节省的需求来调整compress_ratio和compress_layer。compress_ratio能否是浮点数,例如设置成1.5这样
这个参数只能是整数,可以设置为1, 2, 4, 8中的一种使用
好的,在我的任务上,貌似这个模型,不如layerwise那个模型