【北斗】大模型推理系统工程师

【愿景】
美团龙猫基座大模型，不只聪明，更懂生活。从语言理解到全模态感知，从架构创新到极致推理，从海量预训练到亿级真实订单 —— 我们造的不仅是实验室里的“优等生”，更是活在大街小巷、三餐四季里的AI。 而我们想做的远不止于此 —— 让模型自己提出假设、训练自己、不断进化； 让一群智能体像团队一样分工协作、攻克复杂问题； 让 AI 走出屏幕，理解物理世界、走进真实场景。 这是我们正在冲刺的方向，也是你可以参与定义的未来。 加入我们，一起把智能带进真实物理世界，亲手打造下一代 AGI！
【团队介绍】
基座大模型AI Infra团队，以支撑前沿基础模型持续演进为目标，面向大模型研发与生产全链路，构建高性能、高稳定性、可持续扩展的AI基础设施体系。围绕高效率实验平台、大规模训练生产能力，以及模型结构与芯片架构协同优化， 沉淀软硬一体、训推贯通的关键基础能力，提升模型迭代效率、训练资源利用率与系统上限。
【你将负责】
模型推理是大模型应用的核心能力，是影响大模型应用成本和效率的关键因素。本课题专注于大模型推理加速与分布式系统优化的前沿技术探索，通过软硬件协同设计和算法工程联合优化，降低大模型推理的应用成本，提高推理性能。研究内容包括但不限于：
1.投机推理（Speculative Decoding），研究基于预测性执行的动态推理优化方法，参与设计低延迟推理框架，通过概率模型预生成候选序列以降低解码计算开销。
2.分布式系统优化，探索多节点协同推理中的通信-计算负载均衡策略，提出基于异构硬件的混合并行调度方案，实现吞吐量提升。
3.稀疏Transformer优化与模型压缩，通过稀疏Transformer优化以及模型压缩技术提升模型的计算效率。
4.算子优化，熟悉最新硬件架构的算子优化方法，通过更高效的算子优化模型的吞吐和延时。