fix left padding batch infer
#9
by
kuaizhirui
- opened
解决左pad之后 batch infer总是输出unk的问题 或者 和单条样本推理结果不一致的问题，本质上精度不一致的问题，由expanded_attn_mask和combined_attention_mask相加导致的，因此先换成torch.finfo(dtype).min的一半
kuaizhirui
changed pull request status to
closed