岗位说明
简介:探索下一代大模型训练范式,从模型结构、训练策略、数据策略、算力利用率等角度切入,打造具有更强能力和更高潜力的基座模型。
1、设计更高效的模型结构,提高给定数据量、计算量、硬件资源、序列长度等约束下的模型能力和潜力,如长序列能力、记忆能力、推理能力等。
2、探索更科学的训练策略,对影响training dynamic的关键变量(如学习率、batchsize、初始化等)形成更科学的认知。探索更前沿的训练范式(如diffusion LLM,test-time scaling等具有潜力的技术),发现更高效和稳定的scaling路径。
3、研究模型结构和数据的耦合关系,优化分阶段训练范式。研究模型早期表现和能力上限之间的关系。
4、结合MLsys解决大规模训练和推理中遇到的卡点问题,实现算法和工程联合设计。
岗位要求
团队资源丰富,技术审美优秀,在MoE、原生多模、scaling law、self-play等技术方向都有较为前沿的探索经验。
美团是北京三快在线科技有限公司旗下品牌。美团是一家科技零售公司
美团以“零售 + 科技”的战略践行“帮大家吃得更好,生活更好”的公司使命。
自2010年3月成立以来,美团持续推动服务零售和商品零售在需求侧和供给侧的数字化升级,和广大合作伙伴一起努力为消费者提供品质服务。2018年9月20日,美团在港交所挂牌上市。
美团始终以客户为中心,不断加大在新技术上的研发投入。美团会和大家一起努力,更好承担社会责任,更多创造社会价值。
公司自成立以来始终以客户为中心,不断提升服务理念和标准,以便更好承担社会责任,创造更多社会价值。