GitHub Copilot 现已能通过 computer use 与桌面应用交互
GitHub Copilot 在 CLI 和 macOS/Windows 应用中开放 computer use 公开预览,可代用户操作桌面应用,包括读取内容、点击控件、输入文本、滚动拖拽等,扩展对无 API、无 CLI、无 MCP 的旧版和 GUI 软件工作流的自动化,但需用户批准并可被组织策略禁用。
原贴
查看原文原文
中文翻译
Computer use 现已在 GitHub Copilot CLI 以及 macOS 和 Windows 上的 GitHub Copilot 应用中提供公开预览。Copilot 可以代表你与桌面应用交互(例如,读取可访问的应用内容和视觉上下文、点击控件、输入和编辑文本、按键、滚动、拖拽,以及跨应用导航工作流)。这扩展了 Copilot 可以帮助自动化的任务,包括没有提供 API、命令行界面或 MCP 集成的旧版和仅 GUI 软件中的工作流。Copilot 使用 computer-use 工具在 Safari 中导航一个费用报告工作流。你仍然掌控一切。Copilot 在控制应用前会请求批准,你可以查看或重置你选择始终允许的应用。在 macOS 上,computer use 还会引导你完成所需的辅助功能和屏幕录制权限。组织管理的设置可以禁用该功能。在 Copilot CLI 中,运行 /computer on。使用 /computer show 检查其状态,使用 /computer off 禁用它。在 GitHub Copilot 应用中,打开 Settings,选择 Computer Use,然后打开 Enable Computer Use。你也可以使用 /computer on。当你描述想要的结果、涉及的应用以及任何重要约束时,computer use 效果最好。例如,你可以让 Copilot 总结浏览器中的通知、更新演示文稿中的内容,或在桌面应用中将信息移动通过一个工作流。了解有关 GitHub Copilot CLI 和 GitHub Copilot 应用中 computer use 的更多信息
核心信息
GitHub Copilot 在 CLI 和 macOS/Windows 应用中开放 computer use 公开预览,可代用户操作桌面应用,包括读取内容、点击控件、输入文本、滚动拖拽等,扩展对无 API、无 CLI、无 MCP 的旧版和 GUI 软件工作流的自动化,但需用户批准并可被组织策略禁用。
- GitHub Copilot 在 CLI 和 macOS/Windows 应用中开放 computer use 公开预览,可代用户操作桌面应用,包括读取内容、点击控件、输入文本、滚动拖拽等,扩展对无 API、无 CLI、无 MCP 的旧版和 GUI 软件工作流的自动化,但需用户批准并可被组织策略禁用。
- 原贴提到:Computer use is now available in public preview in GitHub Copilot CLI an
- 来源:github.blog
详细解读
这是什么信号:GitHub Copilot 把 computer use 放进 CLI 和 macOS/Windows 桌面应用中公开预览,意味着 AI 不再只停留在聊天、补全或 API 层,而是开始直接操作桌面 GUI。
为什么重要:大量旧系统和 GUI-only 软件没有 API、命令行或 MCP 集成,过去很难被自动化。Copilot 通过读取可访问内容与视觉上下文、点击、输入、按键、滚动、拖拽和跨应用导航,把 AI 从建议输出推进到流程执行,这会扩大可自动化任务的边界。
对谁有价值:开发者、IT 与运维、财务运营、数据处理等仍依赖桌面软件的人最先受益;软件厂商需要评估 GUI 兼容性;安全与合规负责人需要重新评估 AI 代操作的权限边界。
可以怎么行动:先在低风险环境试用,用 /computer on 启用,用 /computer show 查看状态,用 /computer off 关闭。从总结浏览器通知、更新演示文稿、跨桌面应用搬运信息等小任务开始。提问时说明目标结果、涉及应用和重要约束。组织应先定义允许应用和审批策略,再逐步放开。
风险或限制:控制应用前需要用户批准;macOS 需要辅助功能和屏幕录制权限;组织管理设置可禁用该功能。公开预览意味着能力、稳定性和兼容性仍有限,涉及敏感数据、凭据、合规和误操作时不能把它当作无人值守自动化。
信息差价值
这条内容的真正价值,不只是“有人发布了一个新功能”,而是它揭示了 github.blog 背后的产品方向、工作流变化或竞争信号。对 OPC 来说,这种信息可以转化成持续追踪的栏目选题。
如果把《GitHub Copilot 现已能通过 computer use 与桌面应用交互》放到你的内容系统里,它最大的价值在于帮助读者更快看懂“为什么值得关注”,而不是只看到一条碎片化动态。
参考来源
TOPIC HUBS
延伸专题
AI SUMMARY
这篇文章回答了什么
GitHub Copilot 现已能通过 computer use 与桌面应用交互主要讲什么?
GitHub Copilot 在 CLI 和 macOS/Windows 应用中开放 computer use 公开预览,可代用户操作桌面应用,包括读取内容、点击控件、输入文本、滚动拖拽等,扩展对无 API、无 CLI、无 MCP 的旧版和 GUI 软件工作流的自动化,但需用户批准并可被组织策略禁用。
这篇文章最值得关注的要点是什么?
GitHub Copilot 在 CLI 和 macOS/Windows 应用中开放 computer use 公开预览,可代用户操作桌面应用,包括读取内容、点击控件、输入文本、滚动拖拽等,扩展对无 API、无 CLI、无 MCP 的旧版…;原贴提到:Computer use is now available in public preview in GitHub Copilot CLI an;来源:github.blog
这篇文章和哪些AI专题相关?
它适合放在AI工具、Agent工作流、AI超级个体专题里阅读。 关联原因:这篇内容命中「工具、自动化」等主题信号。;这篇内容命中「Agent、工作流」等主题信号。;这篇内容命中「技能」等主题信号。
阅读这篇文章建议先理解哪些关键词?
建议先理解AI工具、工具、自动化、模型、Cursor这些关键词,再结合正文判断工具、机会或风险是否值得进入自己的工作流。