Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

如何设置不同agent使用不同的模型? #176

Open
darvsum opened this issue Oct 14, 2024 · 1 comment
Open

如何设置不同agent使用不同的模型? #176

darvsum opened this issue Oct 14, 2024 · 1 comment
Labels
question Further information is requested

Comments

@darvsum
Copy link

darvsum commented Oct 14, 2024

如何多个agent使用不同的模型,例如:agenta使用a模型,agentb使用b模型,每个agent对应模型的base_url,api_key在什么地方设置?

@LandJerry
Copy link
Collaborator

LandJerry commented Oct 16, 2024

如何多个agent使用不同的模型,例如:agenta使用a模型,agentb使用b模型,每个agent对应模型的base_url,api_key在什么地方设置?

直接在agenta和agentb对应的yaml中设置就行,下面两个使用不同模型的例子。
image

image

demo_rag_agent和demo_multimodal_agent分别使用了qwen和gpt-4o模型。

注意这些模型的名称关联到具体的模型实例,模型的名称可以由你自行定义,模型的model_name沿用服务商官方名称即可。举个例子我们进一步看下qwen_llm这个模型实例的配置。

image

在qwen_llm配置中使用了qwen2-72b-instruct这个模型,你可以按照这个思路进一步自行修改。

模型的key配置在环境变量中即可,在sample_standard_app/config/custom_key.toml.sample
配置中有样例。也可以参考用户手册中各个具体模型的使用文档。

@LandJerry LandJerry added the question Further information is requested label Oct 23, 2024
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
question Further information is requested
Projects
None yet
Development

No branches or pull requests

2 participants