【LongCat实习】全模态Computer Use Agent前沿研究
面议
下一代智能体将超越纯文本交互,在屏幕、软件乃至物理世界中运作——这要求模型具备将图像、视频、音频、文本等多模态感知与可靠的实时行动能力统一融合的底层能力。本课题聚焦于将全模态(Omni-modal)理解能力深度融入Computer Use Agent(CUA),构建"边看、边听、边想、边做"的原生全模态智能体系统,推动智能体从单一文本工具调用走向真实数字环境中的多模态自主操作。
具体地,我们关注如下研究方向:
1.全模态感知与GUI交互的统一建模:探索将视觉(屏幕截图、视频流)、听觉(语音指令、系统音频)、文本等多模态信号在统一架构下进...