AI编码代理可以现代化研究软件,但无法判断科学是否正确
OpenAI与学术伙伴的实地报告显示,AI编码代理能够更新和加速老旧科研软件,但大部分工作从写代码转向验证结果。尽管效率显著提升,专家指导和科学判断仍然不可或缺。
原贴
查看原文原文
中文翻译
来自OpenAI和学术合作伙伴的实地报告显示,编码代理可以更新并加速老化的研究软件。然而,大部分工作从编写代码转向了验证结果。
许多广泛使用的研究工具最初是作为单篇论文的配套代码而诞生的。小型学术团队往往在缺乏适当测试、维护或优化的时间和资源的情况下编写它们。结果是,这些脆弱软件对整个领域仍然至关重要,却需要不断修补。
OpenAI和学术合作伙伴的一份实地报告表明,AI编码代理可能有助于弥合这一差距。该报告记录了八个案例研究,主要集中在生物学领域,研究团队使用了Codex和Claude Code等编码代理。项目范围从基础维护、针对性优化到用现代编程语言全面重写。
其中一个较简单的项目涉及现代化cyvcf2,这是一个用于读取遗传数据的Python库。GPT-5.5用现代流程取代了其过时的构建和安装过程。MHCflurry的迁移则复杂得多。MHCflurry是一个免疫学模型,预测免疫细胞将识别哪些靶标。Claude Code和Codex交替担任开发者和审查者角色,将约10,000行代码从TensorFlow移植到PyTorch。
rustar-aligner项目更为宏大。它用Rust完全重写了STAR。STAR将细胞的测序读段映射到基因组中的对应位置。原版包含超过20,000行C和C++代码,且已不再积极维护,尽管它仍是许多研究流程的一部分。为了检查重写版本是否与原版行为一致,团队在来自酵母细胞的10,000个短测序读段上测试了两种工具。对于单端读段,rustar-aligner在99.815%的情况下产生了与STAR相同的结果。对于双端读段,一致性率为99.883%。比较涵盖了基因组中的映射位置,还包括了两个程序为每个读段生成的其他几个关键字段。两种工具都没有映射出对方未能映射的任何读段。
RustQC通过将15个独立的质量控制工具合并到一个程序中,实现了最大的加速。在一个大型数据集上,运行时间从15小时34分钟降至14分54秒,加速超过60倍。另一个项目HelixForge用一个可在GPU上运行的版本取代了生成合成基因组数据的工具。在使用一名捐赠者数据和基因组一段千万碱基对的测试中,HelixForge完成整个流程的速度比BamSurgeon快59.6倍。仅主要计算步骤就快了98.6倍。
在这些案例研究中,代理能快速完成定义明确的任务,但无法可靠地判断其工作是否科学正确。即使代码包含错误,系统也常常以充分的自信呈现它们。“使用编码代理,快速前进很容易;但要想在科学上走得更远,目前仍然需要专家的指导、理解、品味和细心,”cyvcf2开发者Brent Pedersen写道。
核心信息
OpenAI与学术伙伴的实地报告显示,AI编码代理能够更新和加速老旧科研软件,但大部分工作从写代码转向验证结果。尽管效率显著提升,专家指导和科学判断仍然不可或缺。
- OpenAI与学术伙伴的实地报告显示,AI编码代理能够更新和加速老旧科研软件,但大部分工作从写代码转向验证结果。尽管效率显著提升,专家指导和科学判断仍然不可或缺。
- 原贴提到:A field report from OpenAI and academic partners shows that coding agent
- 来源:the-decoder.com
成为会员查看完整内容
你已经看到了这篇内容的前置整理,剩余深度部分仅对会员开放。