腾讯 Hy4 的 Computer Use:大模型开始在专业软件里干活

腾讯在 11 月 4 日发布 Hy4。官方给出的两个能力变化很关键:首次引入视觉理解,首次支持 Computer Use。前者让模型能看图表和界面,后者让它能结合命令行与图形界面,在专业软件里执行任务。

这比“代码补全”更进一步。代码补全解决的是写代码,Computer Use 解决的是操作一个已有软件并观察结果。

一、从生成内容到操作环境

Hy4 官方描述提到,它可以处理细粒度图像、复杂图表和数学视觉推理,也能针对 Blender、CAD 等专业软件开展跨应用长程任务。

这条能力链可以拆成:

  1. 看见界面和图像;
  2. 理解当前状态与目标差距;
  3. 选择工具、菜单或命令;
  4. 观察执行结果;
  5. 根据结果继续下一步。

真正困难的是第 4、5 步。模型必须知道自己刚才做了什么、界面是否变化、结果是否正确,而不是只生成一段“看起来合理”的操作步骤。

二、为什么产品协同很重要

Hy4 发布时已经接入腾讯云 TokenHub、WorkBuddy/CodeBuddy、元宝、企业微信智能助手和 ima 等产品。官方还强调模型与 WorkBuddy 的 Co-Design,覆盖文档、表格、幻灯片、前端和游戏开发。

这揭示了大厂 AI 产品的一个共同趋势:模型能力不是单独存在的,而是被具体产品的工具、权限和反馈环境放大。

同一个模型,如果没有稳定的工具 schema、状态反馈和错误恢复,Computer Use 很容易变成“点错按钮然后继续解释”。产品协同的价值,就是把这些执行细节变成可验证的工作流。

三、专业软件是更难的 Agent 环境

浏览网页和操作 CAD、Blender 完全不是一个难度:

环境 主要难点
网页 DOM 相对稳定、元素可定位
办公软件 菜单多、状态复杂、文档易损坏
CAD/3D 空间关系复杂、错误代价高
跨应用任务 上下文切换、文件格式与权限

因此专业软件里的 Agent 需要更多保护:操作前预览、关键步骤确认、失败回滚、文件版本保存,以及可追溯的操作日志。

四、开源权重与安全边界

腾讯表示 Hy4 将于近期开源模型权重,并发布系统卡片,重点评估网络和生物安全风险。

“近期开源”和“已经开源”要分开看。工程团队需要等权重、许可证、量化和推理配置真正落地,再决定是否本地部署。在此之前,它更适合作为 API 模型评估。

五、评估 Computer Use 的方法

不要只看演示视频,建议用固定任务集测试:

  • 连续 10 步以上操作后,是否仍记得原始目标;
  • UI 状态变化后,是否能重新定位元素;
  • 弹窗、权限和错误提示出现时,是否会停下来询问;
  • 操作失败后,是否能恢复而不是继续乱点;
  • 每次任务的总耗时、人工接管次数和副作用次数。

六、我的判断

Hy4 的意义不只是国产模型增加视觉能力,而是把模型推向了“操作专业软件”的场景。这个方向会先在企业内部工具、设计辅助和重复性软件操作中落地,而不是一开始就替代完整岗位。

对平台团队,真正的门槛是工具协议、权限控制和可回滚执行环境。模型能看懂界面只是起点,能安全地把事情做完才是终点。

参考来源

说明:能力与评测信息来自腾讯官方材料;开源权重与生产表现仍需后续验证。