本周 Signal
Signal #33 · 2026.10.12
Coding Agent 的质量验证正在覆盖执行过程
本周几项研究发现,Coding Agent 即使生成了功能正确的代码,执行过程中仍可能存在问题。SWE-CC 发现,功能正确的补丁仍可能违反仓库规范,近半数违规发生在中间执行步骤;AgentSpy 发现,最终测试通过的任务仍可能存在与任务无关的操作。 与此同时,HarnessTe...
长期技术观察 / LONG-TERM OBSERVATION
持续观察 AI 如何改变软件工程、研发系统与组织协作,从技术动态、开源项目和真实实践中,识别值得长期跟踪的变化。
本周 Signal
Signal #33 · 2026.10.12
本周几项研究发现,Coding Agent 即使生成了功能正确的代码,执行过程中仍可能存在问题。SWE-CC 发现,功能正确的补丁仍可能违反仓库规范,近半数违规发生在中间执行步骤;AgentSpy 发现,最终测试通过的任务仍可能存在与任务无关的操作。 与此同时,HarnessTe...
HOW IT WORKS
这里不追求把所有信息摆在读者面前,而是持续筛选、组织和验证,最终留下可以复用的判断。
LONG-TERM TOPICS
它们不是短期热点标签,而是理解 AI 如何改变软件工程的一组持续问题。
LATEST OBSERVATIONS
导读: Agent 的 Skills、工具、Hooks 和执行规则可以随时更新,但经过业务微调的模型,未必能正确适应这些变化。淘宝直播团队提出 Harness-Aware Training,让模型在训练时接触不同的 Harness 配置,并通过实验验证了这种方法的价值。Microsoft Agent Lightning 则从另一个角度,研究如何让真实 Harness 参与模型训练。这两项研究提出了一个值得关注的问题:当 Agent 的执行环境持续演进,模型该如何跟上?
导读: Google 将自动修复 Agent 接入真实研发流程,在提交代码前分析测试失败、生成补丁并执行验证。大规模使用数据揭示了两个值得关注的问题:修好的代码可能已经过时,通过测试的补丁也可能违背开发者原本的修改意图。这项实践为研发自动化如何进入真实工程流程,提供了一个很有价值的案例。
导读: AI Code Review 已经能够自动发现代码中的潜在问题,但如何判断这些发现真正有价值?GitHub 最近开源了 ReviewBench,尝试用真实 PR、人工与模型共同构建的评测依据,以及线上实验,衡量 AI 代码审查的质量。这项研究值得关注的,还有它对研发团队如何评估 AI Code Review 的启发。
Coding Agent 修好了 Bug,测试也通过了,但这是否足以说明任务完成得可靠?本周三项研究发现,Agent 可能违反仓库规范、执行与任务无关的操作,甚至运行它的 Harness 本身也存在测试盲区。随着 Agent 承担更完整的研发任务,我们需要重新审视质量验证应该覆盖哪些环节。 _本文是「每周 Signal|AI × SE」第 33 期,持续关注 AI Coding、Agent 与软件工程的演进。_
RESEARCH LIBRARY
公众号、主题导航和 arXiv 共同构成支撑长期观察的信息与研究基础设施,并作为 Signal 和技术观察的资料来源。
ABOUT THE EDITOR
长期关注 AI 软件工程、研发自动化与 Agent 系统,持续维护技术周刊,并参与真实团队中的 AI 研发落地与开源实践。这里记录的不是旁观式评论,而是问题、实践与判断之间的往返。
关于梯度不陡 →