【北斗】大模型训推引擎工程师(后训练/推理方向)

面议
工作经验
不限
工作类型
全职
位置
北京市
岗位说明
方向一:面向Agent RL的LLM分布式后训练系统
1.多模态与超长上下文训练优化:针对万级以上超长序列(Long Context)及多模态输入,研究高效的上下文并行(CP/SP)、序列并行策略及分布式通信拓扑,优化内存足迹,支撑长文本与复杂多模态后训练。
2.计算资源弹性调度与容错容灾:研究超大规模集群下的弹性训练技术(Elastic Training),实现节点动态加入/退出、无感故障自动恢复(Fault Tolerance)与训练超参数自动寻优,提升集群算力有效利用率(MFU)。
3.Agent RL算法基础设施:构建面向Agent强化学习的高效Rollout引擎、多模型(Policy/Value/Reward/Reference)多阶段流水线编排及动态负载均衡机制;设计并建设支持高并发、低延迟的工具调用(Tool-use)虚拟环境/沙箱模拟器交互系统。
4.训推一致性协同设计(Co-design):打通训练与推理底层架构,研究在后训练阶段(如在线RL、Iterative DPO)如何实现训练框架与高性能推理引擎的深度融合,降低在线反馈延迟,实现训推一体化高效演进。
方向二:大模型高效推理与加速技术
1.面向Agent场景的动态推理架构:针对Agent多轮对话、工具调用等复杂交互带来的极致动态性,研究智能KV Cache管理优化策略(如动态复用、分级存储、长短时记忆重组),解决长序列及高并发下的显存瓶颈。
2.极致模型压缩:研究前沿的模型压缩技术,包括先进的高比例量化(INT4/FP4/低比特混合精度)、结构化/非结构化稀疏(Sparsity),并开发对应的硬件友好型Mega算子,压榨硬件极限性能。
3.下一代投机采样技术: 深入研究并落地最前沿的解码加速技术,包括Draft-Target分离部署架构、Structured Speculative Decoding等异构投机采样方案;探索多Token预测(MTP)在线联合验证、无轻量模型依赖的自投机(Self-Speculative)等免草稿模型加速路径。
4.前沿推理系统深度开发:跟踪并引领AI Infra业界最新进展,深度参与并优化主流开源推理框架,进行架构级的核心代码重构、极致的通信优化与算子融合,推动最新infra成果在核心业务的高效落地。
岗位要求
美团是北京三快在线科技有限公司旗下品牌。美团是一家科技零售公司
美团以“零售 + 科技”的战略践行“帮大家吃得更好,生活更好”的公司使命。
自2010年3月成立以来,美团持续推动服务零售和商品零售在需求侧和供给侧的数字化升级,和广大合作伙伴一起努力为消费者提供品质服务。2018年9月20日,美团在港交所挂牌上市。
美团始终以客户为中心,不断加大在新技术上的研发投入。美团会和大家一起努力,更好承担社会责任,更多创造社会价值。
公司自成立以来始终以客户为中心,不断提升服务理念和标准,以便更好承担社会责任,创造更多社会价值。