Skip to content

Commit

Permalink
Merge branch 'main' of github.com:guozixu2001/Camp
Browse files Browse the repository at this point in the history
  • Loading branch information
guozixu2001 committed Nov 5, 2024
2 parents 1953ac4 + c28db4e commit b743149
Show file tree
Hide file tree
Showing 19 changed files with 594 additions and 0 deletions.
Original file line number Diff line number Diff line change
@@ -0,0 +1,20 @@
### 姓名

田川

### 实习项目

PIR 专项

### 本周工作

1. 了解动转静体验优化现阶段已有的任务,对部分场景报错进行优化. PR: [#68328](https://github.com/PaddlePaddle/Paddle/pull/68328)[#68508](https://github.com/PaddlePaddle/Paddle/pull/68508)


### 下周工作

1. 继续进行部分动转静体验优化任务

### 导师点评

报错优化效果明显,后续解决剩余问题的同时,可以开始着手调研 Python 3.13 适配内容了~
Original file line number Diff line number Diff line change
@@ -0,0 +1,21 @@
### 姓名

詹荣瑞

### 实习项目

PIR 专项

### 本周工作

1. **完善参数包含 SymbolicVariable 时的 dispatch 机制,SymbolicVariable 不存在对应的 handler 时,fallback 到 ConstantVariable 的 handler**
- PaddlePaddle/Paddle#67786

### 下周工作

1. **继续推进 SOT 动态 shape**
- PaddlePaddle/Paddle#68113

### 导师点评

继续推进 SOT 动态 shape 开发,推动 SOT 动态 shape 切默认
Original file line number Diff line number Diff line change
@@ -0,0 +1,20 @@
### 姓名

詹荣瑞

### 实习项目

PIR 专项

### 本周工作

1. **找不到对应的参数时,全部符号变量退化为常量**
- PaddlePaddle/Paddle#68113

### 下周工作

1. **实现 SOT 中 SymbolicOperationTracker 的 need_guard 和 is_traceable**

### 导师点评

任务平稳推进,目前动态 shape 也切为了默认,但仍有一些遗留问题需要解决,后续可以一起解决下,下一阶段也可以从性能为着手点对 SOT 端到端进行优化~
Original file line number Diff line number Diff line change
@@ -0,0 +1,41 @@
### 姓名

吕东翼

### 实习项目

PaddleNLP 套件能力建设

### 本周工作

本项目的主要工作是tokenizer对齐,本周主要工作如下:

1. 优化add_special_token函数,允许replace_additional_special_tokens

相关 PR:

- https://github.com/PaddlePaddle/PaddleNLP/pull/9144 (Merged)

2. 允许padding_side做为调用时参数

相关 PR:

- https://github.com/PaddlePaddle/PaddleNLP/pull/9161 (Merged)

3. 支持Tokenizer读取Tiktoken tokenizer.model

同时对部分代码进行了重构,将 `PretrainedTokenizerBase.from_pretrained` 拆分为两个单独的方法:`from_pretrained``_from_pretrained` ,当 `FastTokenizer` 可用时优先使用 ,使用 LazyMapping 来在访问时动态加载键和值,整理了部分常量。

相关 PR:

- https://github.com/PaddlePaddle/PaddleNLP/pull/9215 (Opened)

### 下周工作

1. 完善工作3,加入更多测试

2. 继续tokenizer对齐

### 导师点评

已按计划完成任务。
Original file line number Diff line number Diff line change
@@ -0,0 +1,25 @@
### 姓名

吕东翼

### 实习项目

PaddleNLP 套件能力建设

### 本周工作

1. 继续完善 PR #9125

相关 PR:

- https://github.com/PaddlePaddle/PaddleNLP/pull/9215 (Merged)

2. 为tokenizer添加register机制、添加BertTokenizerFast

### 下周工作

1. 学习RAG相关算法

### 导师点评

工作细致认真,tokenizer升级内容复杂,完成度很高
Original file line number Diff line number Diff line change
@@ -0,0 +1,63 @@
### 姓名

卢林军

### 实习项目

组合机制建设和机制推全

### 本周工作

本项目的主要工作是对尚未支持组合机制的算子添加组合机制并完善机制,本周主要工作如下:

1. 为dropout_grad op 添加动态shape支持

相关 PR:

- https://github.com/PaddlePaddle/Paddle/pull/67757

2. 为prod_grad op 添加动态shape支持

相关 PR:

- https://github.com/PaddlePaddle/Paddle/pull/67775

3. 为cumprod_grad 支持动态shape

相关 PR:

- https://github.com/PaddlePaddle/Paddle/pull/67965

4. 为gather_grad, gather_nd_grad 支持动态shape

相关 PR:

- https://github.com/PaddlePaddle/Paddle/pull/67968

5. 为scatter_grad 添加动态shape支持,添加scatter_nd_add_grad的动态shape单测,为所有反向动态shape测试添加拆解检测

相关 PR:

- https://github.com/PaddlePaddle/Paddle/pull/68168

6. 为topk_grad添加动态shape支持

相关 PR:

- https://github.com/PaddlePaddle/Paddle/pull/68228

7. 为unsqueeze_grad, squeeze_grad 添加动态shape单测

相关 PR:

- https://github.com/PaddlePaddle/Paddle/pull/68076

### 下周工作

1. group_norm_grad, layer_norm_grad, masked_select_grad, roll_grad反向适配动态shape
2. one_hot, batch_norm_, batch_norm, bmm 前向适配动态shape

### 导师点评
按时完成工作任务,效率很高


Original file line number Diff line number Diff line change
@@ -0,0 +1,66 @@
### 姓名

李睿文

### 实习项目

框架 API 易用性提升

### 本周工作

1. **完成核对已修改的 58 个 API**

- 核对已修改的 58 个 API 的 API 映射文档、matcher、单测。

- pr 链接:https://github.com/PaddlePaddle/PaConvert/pull/463https://github.com/PaddlePaddle/docs/pull/6848https://github.com/PaddlePaddle/Paddle/pull/67772

2. **修复 `paddle.diff` 存在的 bug**

- 当 paddle.diff 输入 n!=1 且有 prepend 或 append 参数时返回结果与 pytorch 不一致。

- pr 链接:https://github.com/PaddlePaddle/Paddle/pull/67800

3. **增强 `paddle.optimizer.SGD/Adadelta/Adagrad/RMSprop` 等优化器的功能**

- paddle.optimizer.SGD/Adadelta/Adagrad/RMSprop 等优化器的 weight_decay 参数需增加 int 输入类型的支持

- pr 链接:https://github.com/PaddlePaddle/Paddle/pull/67947、https://github.com/PaddlePaddle/Paddle/pull/68033


4. **修复 `paddle.linalg.matrix_rank` 新增 kernel 存在的 bug**

- 修复当 rtol 输入为 None 的计算分支内关于 rtol_tensor 形状的问题

- pr 链接:https://github.com/PaddlePaddle/Paddle/pull/68108

5. **增强 `F.max_unpool1d/F.max_unpool2d/F.max_unpool3d` 输入 indices 的类型**

- F.max_unpool1d/F.max_unpool2d/F.max_unpool3d 的输入 indices 需增加 int64 类型输入的支持

- pr 链接:https://github.com/PaddlePaddle/Paddle/pull/68046

6. **修复 `F.batch_norm` 存在的 bug**

- 当 training=True 时,F.batch_norm 的 running_variance 计算结果与 pytorch 不同,因为 pytorch 使用的是无偏方差,paddle 是有偏方差

- pr 链接:https://github.com/PaddlePaddle/Paddle/pull/68159

7. **增强 `F.pad` 的 data_format 参数**

- F.pad 的 data_format 需自动适配3D/5D输入

- pr 链接:https://github.com/PaddlePaddle/Paddle/pull/68214

#### 问题疑惑与解答

暂无

### 下周工作

1. 完善未合入的 pr 以及对应的映射文档、matcher、json 映射法则以及 PaConvert 中的单测;
1. 分析 paddle.nonzero 修改的不兼容升级问题;
1. paddle.load 增强输入类型;
1. paddle.chunk 支持非整除情况

### 导师点评
李睿文同学高质量的完成了多个API的修正工作,同时快速掌握PaConvert的各种开发流程,针对历史修改的全部存量API完成了详细的核对。工作中细节严谨,后续继续注重细节,把握各项文档/单测/API/Matcher等开发规范。
Original file line number Diff line number Diff line change
@@ -0,0 +1,46 @@
### 姓名

李睿文

### 实习项目

框架 API 易用性提升

### 本周工作

1. **核对已修改的 69 个 API**

- 核对遗漏的 API 映射文档、matcher、单测。

- pr 链接:https://github.com/PaddlePaddle/PaConvert/pull/489

2. **修改 `F.batch_norm` 在 PaConvert 中的单测**

- 由于单测案例参数设置问题导致的无法对齐

- pr 链接:https://github.com/PaddlePaddle/PaConvert/pull/485

3. **修复 `paddle.Tensor.cast_` 存在的 bug**

- 类型转换错误,错误的将PIR数据类型当做numpy数据类型来转换

- pr 链接:https://github.com/PaddlePaddle/Paddle/pull/68415

4. **`paddle.linalg.det` 支持复数**

- 增加前向和反向 kernel 的复数类型支持

- pr 链接:https://github.com/PaddlePaddle/Paddle/pull/68390

#### 问题疑惑与解答

暂无

### 下周工作

1. 完善已修改 API 的映射文档以及 PaConvert 中的 json 映射规则/mathcer/单测
1. paddle.linalg.slogdet 支持复数
1. paddle.chunk 支持非整除情况

### 导师点评
李睿文近期完成了部分API的修改,注意paddle.chunk目前存在一些设计上的争议,先不开发。后续继续完成API易用性提升的工作,针对有疑惑的API可以提前先讨论确定下方案再开展。
Original file line number Diff line number Diff line change
@@ -0,0 +1,16 @@
### 姓名

林镇铭

### 本周工作

#### 基于rtdetr的开放世界目标检测

- 继续试训、调整模型结构、调整相关参数

### 下周工作

- 继续完善ovrtdetr的相关工作

### 导师点评

Original file line number Diff line number Diff line change
@@ -0,0 +1,26 @@
### 姓名
马奥欣

### 实习项目
推理Predictor 及 IR Pass建设

### 本周工作

1. **对周中拿到的测试报告中提到的问题进行定位已经修改**
* 定位并解决amp pass的cast缓存问题导致的pass 顺序不同会导致的报错问题,修改后的 pass 在不同顺序下不会受到影响
* 定位出在 C++推理正常情况下python推理会报错的问题

https://github.com/PaddlePaddle/Paddle/pull/67822

2. 学习使用 paddle profile,并完成相关 python 测试脚本


### 下周工作

1. 解决C++推理正常情况下python推理会报错的问题
2. 解决amp pass之前存在 cast op 重复的问题
3. 检查相关 op 是否正确设置了推理前的输入输出精度并改进
4. 对典型模型进行性能分析,查看是否还有改进的点

### 导师点评
点评
Original file line number Diff line number Diff line change
@@ -0,0 +1,33 @@
### 姓名

李伟

### 实习项目

推理Predictor 及 IR Pass建设



### 本周工作

#### paddle架构相关学习

1. 熟悉了Paddle-Inference-Demo python层面的运用
2. 学习了 paddle 算子层面的转换

#### 算子的 Marker、converter 的开发 和单测的实现

1. 完成了 divide、multiply、substract的converter的开发和单测实现
2. 完成了max的marker和converter的开发和单测的测试
3. 排查了pd_op.bilinear_interp在旧ir下为什么没有进入tensorrt
4. 提交了split算子在进行converter的时候出现的bug



### 下周工作

1. 继续完成分配算子的converter的实现
1. 重新全部理解一下converter.py全部的实现

### 导师评价

Loading

0 comments on commit b743149

Please sign in to comment.