xinference
xoscar
chatglm-cpp
llama-cpp-python