Pipeline Documentation

NVIDIA recsys-examples 中 Pipeline 框架的完整技术文档。涵盖初始化、Forward 拆分、Context 生命周期和运行时 Timeline。

examples/commons/pipeline/

推荐阅读顺序

1. Pipeline Init
→
2. Forward Hijack
→
3. Context Lifecycle
→
4. Runtime Timeline
→
5. SWPipeline
→
6. API Reference
→
7. TorchRec Pipelines

1Pipeline Init

pipeline_init.html

  • _rewrite_model 如何用 torch.fx 追踪并替换 ShardedModule
  • fill_pipeline 预填充逻辑（Base / Prefetch 对比）
  • PipelinedForward vs PrefetchPipelinedForward
  • Context 对象概览与 progress() 稳态循环
  • SWSerialTrainPipeline 11-Task DAG、_ensure_initialized
阅读全文 →

2Forward Hijack

forward_hijack.html

  • ShardedModule.forward() 如何被拆分为 input_dist + compute_and_output_dist
  • ArgInfo 参数追踪机制
  • BaseForward → PipelinedForward → PrefetchPipelinedForward 继承链
  • torch.fx.Tracer 图追踪原理
  • PipelinedPostproc 包装器
阅读全文 →

3Context Lifecycle

context_lifecycle.html

  • TrainPipelineContext 类层次图（类图 + TorchRec 类型）
  • Awaitable、Multistreamable、ShardedModule 深度解析
  • AllToAll 两阶段模型（splits → tensors）
  • 字段生产者/消费者映射表
  • Base / Prefetch Pipeline 生命周期序列图
阅读全文 →

4Runtime Timeline

runtime_timeline.html

  • 3 次 progress() 迭代展开可视化
  • 4 条 CUDA Stream（memcpy / data_dist / prefetch / default）
  • D3.js 交互式 Timeline（缩放、平移、点击详情）
  • stream 间 wait_stream 同步箭头
  • batch 数据流追踪
阅读全文 →

5SWPipeline

sw_pipeline_overview.html

  • 声明式 Task DAG：PipelineTask + PipelinePlan
  • DeclaredIO 外部副作用声明与独立示例
  • Shortcut 缓存与 _GraftGrad 梯度嫁接
  • NCCL _SubmissionSequencer 多线程保序
  • TaskProfiler 暴露时间测量
  • 旧 Pipeline vs SWPipeline 对比
阅读全文 →

6SWPipeline API Reference

sw_pipeline_api.html

  • 完整数据类：IterContext, DeclaredIO, PipelineTask, TaskSchedule, PipelinePlan
  • intra_iter_deps / inter_iter_deps 同步机制与调度算法
  • period / iter / stage 关系公式
  • SWPipeline 所有公开方法参考
  • FusedSparseDist 端到端示例
阅读全文 →

7TorchRec Pipeline Plans

torchrec_schedules.html

  • 7 种 TorchRec Pipeline 的 PipelinePlan 定义
  • 每个 Pipeline 的 intra_iter_deps, stage, stream 分配
  • CPU 提交顺序与 stage-descending 入队
  • SparseDist, FusedSparseDist, SemiSync, Prefetch 等完整解析
  • SVG 流水线可视化
阅读全文 →

交叉引用导航

_rewrite_model 概览 Pipeline Init → §_rewrite_model Forward 拆分原理 Forward Hijack → §拆分三步骤 torch.fx 追踪详解 Pipeline Init → §FX Graph Context 类层次图 Context Lifecycle → §类图 TorchRec 类型深度解析 Context Lifecycle → §TorchRec Types Base Pipeline 生命周期 Context Lifecycle → §生命周期 Base fill_pipeline (Base) Pipeline Init → §fill_pipeline _fill_pipeline (Prefetch) Pipeline Init → §Prefetch SWPipeline 总览 Pipeline Init → §SWPipeline Two-Phase Sync 协议 Pipeline Init → §Two-Phase Sync progress() 稳态循环 Pipeline Init → §progress DeclaredIO 设计 SWPipeline → §DeclaredIO SWPipeline API 参考 SWPipeline API → 独立页面 Shortcut 缓存机制 SWPipeline → §Shortcut TaskProfiler SWPipeline → §Profiler 字段生产者/消费者映射 Context Lifecycle → §字段详解 依赖同步机制详解 SWPipeline API → §同步与调度 period/iter/stage 公式 SWPipeline API → §period/iter/stage TorchRec Pipeline Plans 7 种 Pipeline 的 intra_iter_deps + stage 定义
源码位置
examples/commons/pipeline/train_pipeline.py — TrainPipelineSparseDist, PrefetchTrainPipelineSparseDist
examples/commons/pipeline/utils.py — TrainPipelineContext, _rewrite_model, BaseForward, PipelinedForward
examples/commons/pipeline/sw_pipeline.py — SWPipeline, PipelineTask, PipelinePlan, DeclaredIO, TaskProfiler
examples/commons/pipeline/sw_train_pipeline.py — SWSerialTrainPipeline