Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

如何使用 Transformers 启动 GLM-4-9B-Chat 服务端? #581

Open
Twistzz2 opened this issue Oct 10, 2024 · 0 comments
Open

如何使用 Transformers 启动 GLM-4-9B-Chat 服务端? #581

Twistzz2 opened this issue Oct 10, 2024 · 0 comments

Comments

@Twistzz2
Copy link

Twistzz2 commented Oct 10, 2024

Feature request / 功能建议

当前官方文档提供了使用 Transformers 与 GLM-4-9B 进行对话的代码,但缺少如何使用 Transformers 启动服务端以及实现客户端请求的具体代码或指南。我希望能够补充以下内容:

  • 如何通过 Transformers 库启动 GLM-4-9B 服务端,并能够接受客户端请求进行推理。
  • 如何从客户端发送请求到部署好的 GLM-4-9B 服务端,并获取模型的推理结果。
  • (如果可以)提供基于 REST API 或 WebSocket 的交互方式示例,以便我集成到现有的应用中。

希望官方能够提供此类代码或文档,以便开发者使用 GLM-4-9B 模型进行服务端部署和应用开发。

Motivation / 动机

我正在使用 GLM-4-9B 模型进行知识的实体关系抽取,因此需要通过 Transformers 启动服务端,方便处理大量客户端请求并进行批量推理。目前官方文档缺少关于如何实现这一需求的详细指南和代码示例,希望能够补充相关内容,以支持模型在实体关系抽取任务中的高效应用和服务端部署。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

1 participant