OverlappedDistributedOptimizer 支持 pipeline parallelism > 1 和 data parallelism > 1 同时使用吗？

[Baibaifan]

OverlappedDistributedOptimizer 似乎不支持 pipeline parallelism？

[13416157913]

藐视目前PP还有问题，作者推荐使用TP；

[Baibaifan]

藐视目前PP还有问题，作者推荐使用TP；

扫了下代码感觉不支持，如果不支持，感觉和magatron的配置不是很兼容。

[uygnef]

可以跑的。
双机16卡，tp 4 pp 2 跑通了

[Baibaifan]

可以跑的。 双机16卡，tp 4 pp 2 跑通了

建议你看看代码，跑通不见得是跑对了。你可以全局搜一下 backward_epilogue这个关键字，看看pipeline parallelism的时候的代码逻辑。

[li-yi-dong]

普通的PP 这个commit afddb84 支持了一下，virtual PP 还没支持。

[Baibaifan]

普通的PP 这个commit afddb84 支持了一下，virtual PP 还没支持。

record_grad_accumulation_boundary这个函数在哪里定义的呢？

[li-yi-dong]

普通的PP 这个commit afddb84 支持了一下，virtual PP 还没支持。

record_grad_accumulation_boundary这个函数在哪里定义的呢？

抱歉，发布的顺序错了，在这个commit 里实现的 25306de

[Richie-yan]

@li-yi-dong
overlap dist opt 对于 virtual PP 有计划什么时候支持上吗？