训练工程

显存、分布式、DeepSpeed / ZeRO / AMP 等工程题

返回 面试问答总览。

• 显存优化与GPU利用率
• 分布式训练
• 大模型显存估算与GPU利用率优化
• 显存优化策略指南
• 大模型分布式训练全景解析
• 流水线并行原理与Gpipe详解
• DataParallel多GPU训练详解
• DistributedDataParallel原理与实战
• torch多进程训练详解
• AMP混合精度训练原理与实战
• DeepSpeed框架深度解析
• Accelerate分布式训练详解
• ZeRO显存优化与3D并行
• 分布式训练故障恢复策略
• PyTorch分布式计算常见问题
• 大模型浮点数精度与混合精度训练
• bitsandbytes量化工具详解
• 大模型软硬件配置指南