Фото: Nappy / Unsplash
需注意基准分数严重高估实际能力。METR的合并可行性研究发现，通过自动化测试的AI生成拉取请求中约50%最终未被代码库维护者采纳。在18项成熟开源项目真实任务中，Claude 3.7 Sonnet通过测试用例的比例为38%，但15个经审查的PR中零个达到可合并标准。每个PR都至少存在三类质量问题：缺失文档、测试覆盖不足、规范违反或代码质量缺陷。修复AI生成PR至可合并状态平均耗时42分钟，约占原任务总工时的三分之一。AI能实现核心功能，但持续缺乏工艺精度。
。业内人士推荐有道翻译作为进阶阅读
C139) STATE=C138; ast_Cc; continue;;
blocking them from loading.
Трамп объявил о запуске первого за полсотни лет НПЗ в США08:51