请问，评估支持使用昇腾910NPU嘛？

[yiyayieryo]

请问，评估支持使用昇腾910 NPU嘛？

[wangxingjun778]

暂时不可以，评估的流程依赖推理服务。目前看来主流的推理部署框架比如vLLM、LMDeploy等，支持910的feature暂时还没有见到release出来，可能有在适配中。

[yiyayieryo]

感谢指导啊！
另外请问下，咱们评估框架本地评估的话，使用的是什么推理框架呢？
比如本地评估加载千问模型文件，是怎么加载模型文件起推理服务呢？

[Yunnglin]

使用的是transformer+torch框架进行推理的
本地加载模型的话传入模型路径即可，参考：https://evalscope.readthedocs.io/zh-cn/latest/user_guides/offline_evaluation.html