大模型训练框架研发工程师-强化学习/精调/蒸馏方向
Tencent
大模型训练框架研发工程师-强化学习/精调/蒸馏方向
Job Description
大模型训练框架研发工程师-强化学习/精调/蒸馏方向
📋 Job Overview
The role of Large Model Training Framework R&D Engineer focuses on developing and optimizing frameworks for reinforcement learning, fine-tuning, and knowledge distillation to enhance training efficiency and usability. Responsibilities include supporting distributed training with tools like Megatron-LM and DeepSpeed, building lightweight training toolchains, exploring cutting-edge technologies, and collaborating with product teams. This position aims to integrate the latest research into practical framework features to boost product competitiveness.
📍 Location: Shanghai, China
🏢 Business Unit: CSIG
📄 Full Description
2.分布式训练支持：基于Megatron-LM、DeepSpeed等工具，优化大模型分布式训练策略（数据并行/张量并行/流水并行/专家并行等），解决显存、通信与计算瓶颈；
3.工具链构建：参与开发轻量化训练框架（如LLama-Factory、swift），支持快速模型微调、部署及多硬件平台适配；
4.前沿技术探索：跟踪学术动态（如RLHF、MoE架构、FlashMLA、EPLB、DualPipe等），将最新研究成果转化为框架功能，提升产品竞争力；
5.协作与文档：与产品团队紧密配合，提供框架级解决方案；编写技术文档与案例，赋能公有云客户。
🎯 Key Responsibilities
- 框架开发与优化：负责强化学习、模型精调、知识蒸馏等核心模块的设计与开发，提升框架的训练效率与易用性
- 分布式训练支持：基于Megatron-LM、DeepSpeed等工具，优化大模型分布式训练策略（数据并行/张量并行/流水并行/专家并行等），解决显存、通信与计算瓶颈
- 工具链构建：参与开发轻量化训练框架（如LLama-Factory、swift），支持快速模型微调、部署及多硬件平台适配
- 前沿技术探索：跟踪学术动态（如RLHF、MoE架构、FlashMLA、EPLB、DualPipe等），将最新研究成果转化为框架功能，提升产品竞争力
- 协作与文档：与产品团队紧密配合，提供框架级解决方案；编写技术文档与案例，赋能公有云客户
Locations
- Shanghai, China
Salary
300,000 - 800,000 CNY / yearly
Source: ai estimated
* This is an estimated range based on market data and may vary based on experience and qualifications.
Responsibilities
- 框架开发与优化：负责强化学习、模型精调、知识蒸馏等核心模块的设计与开发，提升框架的训练效率与易用性
- 分布式训练支持：基于Megatron-LM、DeepSpeed等工具，优化大模型分布式训练策略（数据并行/张量并行/流水并行/专家并行等），解决显存、通信与计算瓶颈
- 工具链构建：参与开发轻量化训练框架（如LLama-Factory、swift），支持快速模型微调、部署及多硬件平台适配
- 前沿技术探索：跟踪学术动态（如RLHF、MoE架构、FlashMLA、EPLB、DualPipe等），将最新研究成果转化为框架功能，提升产品竞争力
- 协作与文档：与产品团队紧密配合，提供框架级解决方案；编写技术文档与案例，赋能公有云客户
Tags & Categories
Answer 10 quick questions to check your fit for 大模型训练框架研发工程师-强化学习/精调/蒸馏方向 @ Tencent.
Related Books and Jobs
大模型训练框架研发工程师-强化学习/精调/蒸馏方向
Tencent
大模型训练框架研发工程师-强化学习/精调/蒸馏方向
Job Description
大模型训练框架研发工程师-强化学习/精调/蒸馏方向
📋 Job Overview
The role of Large Model Training Framework R&D Engineer focuses on developing and optimizing frameworks for reinforcement learning, fine-tuning, and knowledge distillation to enhance training efficiency and usability. Responsibilities include supporting distributed training with tools like Megatron-LM and DeepSpeed, building lightweight training toolchains, exploring cutting-edge technologies, and collaborating with product teams. This position aims to integrate the latest research into practical framework features to boost product competitiveness.
📍 Location: Shanghai, China
🏢 Business Unit: CSIG
📄 Full Description
2.分布式训练支持：基于Megatron-LM、DeepSpeed等工具，优化大模型分布式训练策略（数据并行/张量并行/流水并行/专家并行等），解决显存、通信与计算瓶颈；
3.工具链构建：参与开发轻量化训练框架（如LLama-Factory、swift），支持快速模型微调、部署及多硬件平台适配；
4.前沿技术探索：跟踪学术动态（如RLHF、MoE架构、FlashMLA、EPLB、DualPipe等），将最新研究成果转化为框架功能，提升产品竞争力；
5.协作与文档：与产品团队紧密配合，提供框架级解决方案；编写技术文档与案例，赋能公有云客户。
🎯 Key Responsibilities
- 框架开发与优化：负责强化学习、模型精调、知识蒸馏等核心模块的设计与开发，提升框架的训练效率与易用性
- 分布式训练支持：基于Megatron-LM、DeepSpeed等工具，优化大模型分布式训练策略（数据并行/张量并行/流水并行/专家并行等），解决显存、通信与计算瓶颈
- 工具链构建：参与开发轻量化训练框架（如LLama-Factory、swift），支持快速模型微调、部署及多硬件平台适配
- 前沿技术探索：跟踪学术动态（如RLHF、MoE架构、FlashMLA、EPLB、DualPipe等），将最新研究成果转化为框架功能，提升产品竞争力
- 协作与文档：与产品团队紧密配合，提供框架级解决方案；编写技术文档与案例，赋能公有云客户
Locations
- Shanghai, China
Salary
300,000 - 800,000 CNY / yearly
Source: ai estimated
* This is an estimated range based on market data and may vary based on experience and qualifications.
Responsibilities
- 框架开发与优化：负责强化学习、模型精调、知识蒸馏等核心模块的设计与开发，提升框架的训练效率与易用性
- 分布式训练支持：基于Megatron-LM、DeepSpeed等工具，优化大模型分布式训练策略（数据并行/张量并行/流水并行/专家并行等），解决显存、通信与计算瓶颈
- 工具链构建：参与开发轻量化训练框架（如LLama-Factory、swift），支持快速模型微调、部署及多硬件平台适配
- 前沿技术探索：跟踪学术动态（如RLHF、MoE架构、FlashMLA、EPLB、DualPipe等），将最新研究成果转化为框架功能，提升产品竞争力
- 协作与文档：与产品团队紧密配合，提供框架级解决方案；编写技术文档与案例，赋能公有云客户
Tags & Categories
Answer 10 quick questions to check your fit for 大模型训练框架研发工程师-强化学习/精调/蒸馏方向 @ Tencent.
Related Books and Jobs