Skip to content

Commit

Permalink
add online model-service
Browse files Browse the repository at this point in the history
  • Loading branch information
windsonsea committed Mar 20, 2024
1 parent 9e1de58 commit dfc4e81
Show file tree
Hide file tree
Showing 12 changed files with 38 additions and 37 deletions.
Binary file added docs/zh/docs/dmc/images/online01.png
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
Binary file added docs/zh/docs/dmc/images/online02.png
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
Binary file added docs/zh/docs/dmc/images/online03.png
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
Binary file added docs/zh/docs/dmc/images/online04.png
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
10 changes: 8 additions & 2 deletions docs/zh/docs/dmc/index.md
Original file line number Diff line number Diff line change
Expand Up @@ -5,8 +5,14 @@ hide:

# 什么是模型中心

d.run 模型中心内置了 **模型仓库** ,可以一站式管理各类大模型,按需部署。
d.run 模型中心内置了[模型仓库](./model-hub/index.md),可以一站式管理各类大模型,按需部署。

另外通过 **模型服务** ,您可以从本地、在线提供大语言模型服务、向量化模型服务。
另外通过[模型服务](./model-service/index.md),您可以从本地、在线提供大语言模型服务、向量化模型服务。

![model hub](./images/dmc-home.png)

## 切换集群

在导航栏左上角,可以切换集群/算力中心。

![切换集群](./images/inner01.png)
2 changes: 1 addition & 1 deletion docs/zh/docs/dmc/model-hub/built-in.md
Original file line number Diff line number Diff line change
Expand Up @@ -23,4 +23,4 @@ hide:

3. 屏幕提示创建成功,接下来可以通过部署的模型提供服务。

下一步:[模型服务](../model-service/index.md)
下一步:[模型服务](../model-service/local.md#_3)
18 changes: 0 additions & 18 deletions docs/zh/docs/dmc/model-hub/index.md

This file was deleted.

2 changes: 1 addition & 1 deletion docs/zh/docs/dmc/model-hub/tuner.md
Original file line number Diff line number Diff line change
Expand Up @@ -23,7 +23,7 @@ hide:

3. 屏幕提示创建成功,接下来可以通过部署的模型提供服务。

下一步:[模型服务](../model-service/index.md)
下一步:[模型服务](../model-service/local.md#_4)

## 删除

Expand Down
12 changes: 0 additions & 12 deletions docs/zh/docs/dmc/model-service/index.md

This file was deleted.

6 changes: 5 additions & 1 deletion docs/zh/docs/dmc/model-service/local.md
Original file line number Diff line number Diff line change
Expand Up @@ -4,7 +4,8 @@

## 大语言模型服务

可采用两种模型提供服务。
大语言模型即 Large Language Model (LLM),这是基于大量数据进行预训练的超大型深度学习模型。
可采用内置和微调两种模型提供服务。

### 内置模型

Expand Down Expand Up @@ -36,6 +37,9 @@

## 向量化模型服务

向量化模型:这种模型将数据表示成计算机可识别的实数向量(vector),根据粒度大小不同可将数据特征表示分为字、词、句子或篇章几个层次。
数据向量化的方法主要分为离散表示和分布式表示。也就是说,数据向量化是将原始数据转换为数值向量的过程,以便计算机可以理解和处理数据。

这种服务不用区分内置模型或微调模型,接入服务的过程与[内置模型的接入步骤](#_3)相同。

如果要删除某个服务,点击列表右侧的 **** ,在弹出菜单中选择 **删除** ,在弹窗中输入服务的名称,确认无误后点击 **删除**
Expand Down
23 changes: 23 additions & 0 deletions docs/zh/docs/dmc/model-service/online.md
Original file line number Diff line number Diff line change
Expand Up @@ -3,3 +3,26 @@
这种模型可以通过 API 密钥的形式,面向公众提供在线服务。
那些获取到 API 密钥的用户,即可使用这些模型提供的服务。

## 大语言模型服务

对于大语言模型服务,可使用 AzureOpenAI 等公有云的服务。
若要新增一个 API 密钥,

1. 点击右侧的 **新增 API 密钥** 按钮

![点击按钮](../images/online01.png)

1. 填写信息后点击 **确定**

![点击按钮](../images/online02.png)

1. 屏幕提示成功创建,您可以执行 **失效****编辑****删除** 等更多操作。

![点击按钮](../images/online03.png)

## 向量化模型服务

对于向量化模型服务,也可以通过 API 密钥来访问。
新增 API 密钥的参数信息与[大语言模型](#_2)稍有不同。

![向量化模型服务 api 密钥参数](../images/online04.png)
2 changes: 0 additions & 2 deletions docs/zh/navigation.yml
Original file line number Diff line number Diff line change
Expand Up @@ -28,11 +28,9 @@ nav:
- 模型中心:
- 什么是模型中心: dmc/index.md
- 模型仓库:
- 简介: dmc/model-hub/index.md
- 内置模型: dmc/model-hub/built-in.md
- 微调模型: dmc/model-hub/tuner.md
- 模型服务:
- 简介: dmc/model-service/index.md
- 本地模型服务: dmc/model-service/local.md
- 在线模型服务: dmc/model-service/online.md
- 模型开发:
Expand Down

0 comments on commit dfc4e81

Please sign in to comment.