[Question] [AgentScope] Qwen2___5-7B-Instruct 比 Qwen2 -7B性能下降了不少啊？

[monkeywl2020]

Has this been raised before?

• I have checked the GitHub README.
• I have checked the Qwen documentation and cannot find an answer there.
• I have searched the issues and there is not a similar one.
• I confirm that this is not a bug report, a feature request, or a badcase.

Description

最近用 Qwen2___5-7B-Instruct 进行了性能测试还有Function call功能测试！
发现qwen2.5 7B退步了不少啊，性能下降。Function call功能也比之前弱了。
环境：vllm6.0 部署，硬件是 一张L20 48G
Agent并发 10 用户，prompt 150汉字，输出约1000汉字。 流式输出首包平均时长0.9s。 qwen2(0.32s)
Agent并发 20 用户，prompt 150汉字，输出约1000汉字。 流式输出首包平均时长1.8s。 qwen2(0.45s)
function call 并发多函数顺序调用的时候很容易出现乱填参数的问题。

[jklj077]

How did you test it? Which agent framework did you use?

[JianxinMa]

请问您采用的function call是用的什么实现？qwen-agent框架提供的，还是vllm提供的？

[monkeywl2020]

请问您采用的function call是用的什么实现？qwen-agent框架提供的，还是vllm提供的？

qwen2.5 7B 两种方案都可以实现，qwen-agent开启了并发功能后，结果与openAI格式的一样的。

How did you test it? Which agent framework did you use?
使用的是 agentscope

[JianxinMa]

请问您采用的function call是用的什么实现？qwen-agent框架提供的，还是vllm提供的？

qwen2.5 7B 两种方案都可以实现，qwen-agent开启了并发功能后，结果与openAI格式的一样的。

How did you test it? Which agent framework did you use?
使用的是 agentscope

据我所知，agentscope是用的非qwen官方的prompt，qwen2.5模型没有针对agentscope优化。

[monkeywl2020]

据我所知，agentscope是用的非qwen官方的prompt，qwen2.5模型没有针对agentscope优化。

我用的是标准的openAI格式，agentscope只是用来测试 qwen2.5-7B性能的，测试性能没有涉及Function call调用。