Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

update fine-tuning-fast.md and fine-tuning-lab.md #122

Merged
merged 1 commit into from
Jun 17, 2024
Merged
Show file tree
Hide file tree
Changes from all commits
Commits
File filter

Filter by extension

Filter by extension

Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
41 changes: 23 additions & 18 deletions docs/zh/docs/dtx/fine-tuning-fast.md
Original file line number Diff line number Diff line change
Expand Up @@ -20,16 +20,18 @@

![数据集](images/dataset02.png)

- 输入数据集名称(不支持中文,长度限制 63 字符)。
- 为数据集添加自定义标签。
- 选择数据集语言,当前支持中文/英文。
- 选择要创建的数据集所属的集群以及命名空间,注意:数据集所在集群/命名空间应该和微调实验所属集群/命名空间保一致。
- 根据数据集的属性,设置授权协议。
- 根据数据集的大小,选择词条的数目。
- 根据数据集属性,选择数据集被应用的任务的类型,同时支持添加子类型。
- 配置数据集的信息,可以上传本地数据集文件配置三种类型的数据集地址,或者设置插件,配置参数让插件拉取数据集。
- 数据集的特征映射填写数据集中文件的表头。
- 该数据集分为两列,列名分别为:question/answer。
| 参数说明 | 详细描述 |
| -------- | -------- |
| 数据集名称 | 不支持中文,长度限制 63 字符 |
| 自定义标签 | 为数据集添加自定义标签 |
| 数据集语言 | 当前支持中文/英文 |
| 集群及命名空间 | 选择数据集所属的集群以及命名空间,注意:数据集所在集群/命名空间应该和微调实验所属集群/命名空间保持一致。 |
| 授权协议 | 根据数据集的属性,设置授权协议 |
| 词条数目 | 根据数据集的大小,选择词条的数目 |
| 任务类型 | 根据数据集属性,选择数据集被应用的任务的类型,同时支持添加子类型 |
| 数据集信息 | 配置数据集的信息,可以上传本地数据集文件,配置三种类型的数据集地址,或者设置插件,配置参数让插件拉取数据集 |
| 特征映射 | 填写数据集中文件的表头 |
| 列名 | 该数据集分为两列,列名分别为:question/answer |

!!! tip

Expand All @@ -39,14 +41,14 @@

## 创建参数组

在 **模型微调** -> **数据集** 中,点击 **创建** 按钮。
在 **模型微调** -> **参数组** 中,点击 **创建** 按钮。

![创建参数组](images/create-parameter-groups.png)

- 设置参数组基本信息,参数组名称以及微调类型和所属集群以及命名空间,目前支持的微调类型为:SFT
- 按照需要配置参数组信息,点击右下角确认完成参数组的创建

点击 **确认** 创建参数组
点击 **确认** 创建参数组

![参数组](images/parmergroup02.png)

Expand All @@ -56,7 +58,7 @@

## 创建微调实验

1. 在 **模型微调** -> **数据集** 中,点击 **创建微调实验** 按钮
1. 在 **模型微调** -> **微调实验** 中,点击 **创建微调实验** 按钮

![创建微调实验](images/create-fine-tuning-experiment.png)

Expand All @@ -67,7 +69,7 @@
- 选择命名空间。

![实验基本信息](images/basic-information-of-experiment.png)

- 任务名称:由小写字母、数字字符或“-”组成,并且必须以字母或数字字符开头及结尾。
- 选择算力类型并填写物理卡个数。

Expand Down Expand Up @@ -105,16 +107,19 @@

![微调模型部署](images/dtx-chat02.png)

3. 创建成功,接下来可以通过部署的模型提供服务
3. 创建成功,接下来可以通过部署的模型提供服务

## 模型服务对话

1. 微调模型部署成功后,可以在 **模型服务** -> **本地模型服务** -> **微调模型** 勾选模型服务后,
点击右侧 **对比对话** 即可与该模型 **对话**
(注:最多可选中三个微调模型进行对话)。
点击右侧 **对话** 即可与该模型对话。

![模型服务对话](images/dtx-chat03.png)

2. 可以输入训练集中的问题,点击发送给微调模型,以此验证模型微调的效果,微调模型会回答用户提出的问题。
!!! tip

最多可选中三个微调模型进行对话。

2. 你可以输入训练集中的问题,发送给微调模型,以此验证模型微调的效果,微调模型会回答用户提出的问题。

![模型服务对话](images/dtx-chat04.png)
27 changes: 18 additions & 9 deletions docs/zh/docs/dtx/fine-tuning-lab.md
Original file line number Diff line number Diff line change
@@ -1,21 +1,29 @@
---
hide:
- toc
---

# 微调实验

微调实验是利用 **数据组** 、 **大模型** 、 **参数组** 这三个配置灵活组合,利用底层的多个 GPU 的卡,一次操作,并行完成多次微调,然后基于所有微调模型进行总体的评估,最后在这次实验中,使用相同的评估标准,找出最佳的微调模型作为本次微调实验的推荐的微调模型
微调实验是使用 **数据组** 、 **大模型** 、 **参数组** 这三个配置灵活组合,利用底层的多个 GPU 卡,一次操作,并行完成多次微调,
然后基于所有微调模型进行总体的评估。最后在微调实验中,使用相同的评估标准,找出最佳的微调模型作为本次微调实验的推荐微调模型。

## 创建微调实验

1. 点击右上角 **创建微调实验** 。
1. 在 **模型微调** 中,点击右上角 **创建微调实验** 按钮

![创建微调实验](images/create-fine-tuning-experiment.png)
![创建微调实验](images/create-fine-tuning-experiment.png)

2. 填写实验基本信息:

- 实验名称:由小写字母、数字字符或“-”组成,并且必须以字母或数字字符开头及结尾。
- 选择评估方式:实验中对模型使用的评分准则。
- 选择命名空间

![实验基本信息](images/basic-information-of-experiment.png)

3. 填写微调任务配置:

- 任务名称:由小写字母、数字字符或“-”组成,并且必须以字母或数字字符开头及结尾。
- 选择算力类型并填写物理卡个数。

Expand All @@ -29,25 +37,26 @@

推荐CPU配额和内存配置请求值为 **16** Core,限制值为 **32** Core。

!!!note
!!! note

两者的请求值皆不可超过限制值。

![任务配置](images/resource-allocation.png)

- 选择实验中要使用的 **基础大模型** 、 **数据组** 以及 **参数组** 。

若要设置多个微调任务,可点击左下角 **添加任务** 创建新任务。
若要设置多个微调任务,可点击左下角 **添加任务** 创建新任务。

![alt text](images/add-task.png)
![alt text](images/add-task.png)

4. 点击右下角 **确认** 按钮即可创建微调实验。

## 停止或删除微调实验

若想停止或删除某个微调实验,可点击右侧 **⋮** 按钮,选择 **停止** 或 **删除** 。
若想停止或删除某个微调实验,可点击右侧 **⋮** ,在弹出菜单中选择 **停止** 或 **删除** 。

![停止或删除微调实验](images/delete-fine-tuning-experiment.png)

!!! note

停止及删除操作不可逆,请谨慎操作。
![停止或删除微调实验](images/delete-fine-tuning-experiment.png)
停止及删除操作不可逆,请谨慎操作。
Loading