1. 从flops efficiency角度,对大模型预训练过程进行分析与探索,包括不限于对scaling law的研究,数据的认知实验,MoE等模型架构设计,以及其他工程与算法结合的ml sys相关优化等。
2. 负责原生多模态大模型的构建与预训练,包括各模态分词器设计,合成数据策略,以及跨模态融合训练策略等,提升原生多模态模型在视觉/语音的理解与生成任务上的能力。
3. 进行大模型reasoning能力的相关研究,研究pre-train / test-time compute对于模型推理能力的影响,借助SFT / DPO / self-play等手段,提高模型在代码数学等推理任务上的表现。
4. 通...

北京三快在线科技有限公司
北京市