👍
#4
by
hiarcs
- opened
通过lmdeploy.turbomind.chat运行，速度很快，效果对一个20B模型而言非常不错。
中文能力相当不错，除非是在没有提示的情况下尝试识别文本中的讽刺描写外或区分细微的逻辑差别外，和GPT4对比水平差不多，不少回答感觉超过GPT4。
回答知识性问题中规中矩。
不能用来写代码，问到Java相关的问题，会和7b版本一样，会在输出一半后重复输出相同的文本，比如import语句或html标记。
在启动后什么都不写直接两下回车，有时会出题考我，7b版本会叫我烧豆腐……两个版本在这种情况下都输出英文。
不能很好的进行问句的翻译，会直接用英文回答问题。
还有祖传的：
WARNING: Can not find tokenizer.json. It may take long time to initialize the tokenizer.
[WARNING] gemm_config.in is not found; using default GEMM algo