觉
AI觉醒星球
Awakening is here
AI技能杠杆 · 阅读档案
2026-10-02 8 浏览 免费阅读

GitHub Copilot 现已能通过 computer use 与桌面应用交互

GitHub Copilot 在 CLI 和 macOS/Windows 应用中开放 computer use 公开预览,可代用户操作桌面应用,包括读取内容、点击控件、输入文本、滚动拖拽等,扩展对无 API、无 CLI、无 MCP 的旧版和 GUI 软件工作流的自动化,但需用户批准并可被组织策略禁用。

AI技能杠杆 约 9 分钟读完 免费阅读 原文 2026-10-02 03:11:26

原贴

查看原文
作者:Allison 来源站点:github.blog 原贴时间:

原文

Computer use is now available in public preview in GitHub Copilot CLI and the GitHub Copilot app on macOS and Windows. Copilot can interact with desktop applications on your behalf (e.g., reading accessible app content and visual context, clicking controls, entering and editing text, pressing keys, scrolling, dragging, and navigating workflows across applications). This expands the tasks Copilot can help automate, including workflows in legacy and GUI-only software that do not provide an API, command-line interface, or MCP integration. Copilot uses computer-use tools to navigate an expense-report workflow in Safari. You remain in control. Copilot asks for approval before controlling an app, and you can review or reset apps that you have chosen to always allow. On macOS, computer use also guides you through the required Accessibility and Screen Recording permissions. Organization-managed settings can disable the feature. In Copilot CLI, run /computer on . Use /computer show to check its status and /computer off to disable it. In the GitHub Copilot app, open Settings , select Computer Use , and turn on Enable Computer Use . You can also use /computer on . Computer use works best when you describe the outcome you want, the applications involved, and any important constraints. For example, you can ask Copilot to summarize notifications in a browser, update content in a presentation, or move information through a workflow in a desktop application. Learn more about computer use in GitHub Copilot CLI and the GitHub Copilot app

中文翻译

Computer use 现已在 GitHub Copilot CLI 以及 macOS 和 Windows 上的 GitHub Copilot 应用中提供公开预览。Copilot 可以代表你与桌面应用交互(例如,读取可访问的应用内容和视觉上下文、点击控件、输入和编辑文本、按键、滚动、拖拽,以及跨应用导航工作流)。这扩展了 Copilot 可以帮助自动化的任务,包括没有提供 API、命令行界面或 MCP 集成的旧版和仅 GUI 软件中的工作流。Copilot 使用 computer-use 工具在 Safari 中导航一个费用报告工作流。你仍然掌控一切。Copilot 在控制应用前会请求批准,你可以查看或重置你选择始终允许的应用。在 macOS 上,computer use 还会引导你完成所需的辅助功能和屏幕录制权限。组织管理的设置可以禁用该功能。在 Copilot CLI 中,运行 /computer on。使用 /computer show 检查其状态,使用 /computer off 禁用它。在 GitHub Copilot 应用中,打开 Settings,选择 Computer Use,然后打开 Enable Computer Use。你也可以使用 /computer on。当你描述想要的结果、涉及的应用以及任何重要约束时,computer use 效果最好。例如,你可以让 Copilot 总结浏览器中的通知、更新演示文稿中的内容,或在桌面应用中将信息移动通过一个工作流。了解有关 GitHub Copilot CLI 和 GitHub Copilot 应用中 computer use 的更多信息

核心信息

GitHub Copilot 在 CLI 和 macOS/Windows 应用中开放 computer use 公开预览,可代用户操作桌面应用,包括读取内容、点击控件、输入文本、滚动拖拽等,扩展对无 API、无 CLI、无 MCP 的旧版和 GUI 软件工作流的自动化,但需用户批准并可被组织策略禁用。

  • GitHub Copilot 在 CLI 和 macOS/Windows 应用中开放 computer use 公开预览,可代用户操作桌面应用,包括读取内容、点击控件、输入文本、滚动拖拽等,扩展对无 API、无 CLI、无 MCP 的旧版和 GUI 软件工作流的自动化,但需用户批准并可被组织策略禁用。
  • 原贴提到:Computer use is now available in public preview in GitHub Copilot CLI an
  • 来源:github.blog

详细解读

这是什么信号:GitHub Copilot 把 computer use 放进 CLI 和 macOS/Windows 桌面应用中公开预览,意味着 AI 不再只停留在聊天、补全或 API 层,而是开始直接操作桌面 GUI。

为什么重要:大量旧系统和 GUI-only 软件没有 API、命令行或 MCP 集成,过去很难被自动化。Copilot 通过读取可访问内容与视觉上下文、点击、输入、按键、滚动、拖拽和跨应用导航,把 AI 从建议输出推进到流程执行,这会扩大可自动化任务的边界。

对谁有价值:开发者、IT 与运维、财务运营、数据处理等仍依赖桌面软件的人最先受益;软件厂商需要评估 GUI 兼容性;安全与合规负责人需要重新评估 AI 代操作的权限边界。

可以怎么行动:先在低风险环境试用,用 /computer on 启用,用 /computer show 查看状态,用 /computer off 关闭。从总结浏览器通知、更新演示文稿、跨桌面应用搬运信息等小任务开始。提问时说明目标结果、涉及应用和重要约束。组织应先定义允许应用和审批策略,再逐步放开。

风险或限制:控制应用前需要用户批准;macOS 需要辅助功能和屏幕录制权限;组织管理设置可禁用该功能。公开预览意味着能力、稳定性和兼容性仍有限,涉及敏感数据、凭据、合规和误操作时不能把它当作无人值守自动化。

信息差价值

这条内容的真正价值,不只是“有人发布了一个新功能”,而是它揭示了 github.blog 背后的产品方向、工作流变化或竞争信号。对 OPC 来说,这种信息可以转化成持续追踪的栏目选题。

如果把《GitHub Copilot 现已能通过 computer use 与桌面应用交互》放到你的内容系统里,它最大的价值在于帮助读者更快看懂“为什么值得关注”,而不是只看到一条碎片化动态。

参考来源

AI SUMMARY

这篇文章回答了什么

GitHub Copilot 现已能通过 computer use 与桌面应用交互主要讲什么?

GitHub Copilot 在 CLI 和 macOS/Windows 应用中开放 computer use 公开预览,可代用户操作桌面应用,包括读取内容、点击控件、输入文本、滚动拖拽等,扩展对无 API、无 CLI、无 MCP 的旧版和 GUI 软件工作流的自动化,但需用户批准并可被组织策略禁用。

这篇文章最值得关注的要点是什么?

GitHub Copilot 在 CLI 和 macOS/Windows 应用中开放 computer use 公开预览,可代用户操作桌面应用,包括读取内容、点击控件、输入文本、滚动拖拽等,扩展对无 API、无 CLI、无 MCP 的旧版…;原贴提到:Computer use is now available in public preview in GitHub Copilot CLI an;来源:github.blog

这篇文章和哪些AI专题相关?

它适合放在AI工具、Agent工作流、AI超级个体专题里阅读。 关联原因:这篇内容命中「工具、自动化」等主题信号。;这篇内容命中「Agent、工作流」等主题信号。;这篇内容命中「技能」等主题信号。

阅读这篇文章建议先理解哪些关键词?

建议先理解AI工具、工具、自动化、模型、Cursor这些关键词,再结合正文判断工具、机会或风险是否值得进入自己的工作流。

上一篇 从想法到一款可以在 @modretro 上玩的游戏 下一篇 VS Code 中的 GitHub Copilot,2026 年 9 月发布
北竹游乐场 免费玩小游戏 免费玩