【北斗】分布式AI推理/AI-Infra研发工程师

为了更好地提升城市即时配送的效率与体验，2017年，美团启动了无人机配送服务的探索，通过科技创新推动履约工具变革，加快建设空地协同的本地即时配送网络。目前，美团已初步完成了自主飞行无人机、智能化调度系统及高效率运营体系的研发建设工作，由此打造了一个服务于多场景、多天候的城市低空物流解决方案。

在该岗位中您将负责：
1、推理框架研发：参与构建与优化高性能分布式 AI 推理引擎，支持大模型在多卡、多机环境下的高效分布式部署与高效通信；
2、分布式任务调度：参与设计与实现面向大模型推理的高效任务调度算法。针对 Prefill与 Decoding阶段的不同资源需求，协助研发 PD 分离架构下的请求流转与精细化调度；
3、全局负载均衡：协助构建多节点、多实例集群的负载均衡策略。基于请求长度预测、全局 KV Cache 缓存命中率以及运行时显存状态，实现智能流量分发，避免集群局部热点与雪崩；
4、弹性伸缩与容错：参与大规模分布式推理集群的健康度监控，协同开发故障自动检测与动态隔离机制，提升高并发在线服务（LLM-as-a-Service）的可用性（SLA）；
5、性能剖析与调优：协助排查高并发场景下，由网络延迟、长尾请求（Tail Latency）、线程锁竞争或集合通信（NCCL）瓶颈导致的全局吞吐跌落；
6.主动探索并运用各类AI工具优化日常工作流程，积极推动AI在无人机业务中的落地实践。