Collinear AI 发布网络安全评测基准 CWE-bench v2
Collinear AI 正式发布网络安全基准 CWE-bench v2,开源包含 100 个真实开源仓库任务的公开测试集,用于评测 AI 智能体发现并修复安全弱点的能力。
Collinear AI 正式发布网络安全基准 CWE-bench v2,开源包含 100 个真实开源仓库任务的公开测试集,用于评测 AI 智能体发现并修复安全弱点的能力。
Resolution 耗资约 $135,000 并生成约 600k 行 Lean 代码,利用智能体自动形式化奇点消解以辅助安全对齐研究。在软件重构基准 ProgramBench 上,Claude Opus 5.5 取得 18.5% 解决率,打破此前模型均为 0% 的纪录。同时 OpenAI 发现隔离在 microVM 的智能体能利用处理器缓存时序差违规传递数据。
GitHub 推出面向 AI 代码审查智能体的开源离线基准 ReviewBench,旨在提供贴近真实生产环境的评估标准。该基准参考 1.039 亿真实拉取请求的分布特征,精选覆盖 19 种编程语言的 219 个拉取请求,结合人类专家、静态分析和前沿大模型构建多来源金标准,并使用 Claude Sonnet 5 统一评判。
推荐理由:该基准基于真实拉取请求分布建立评测集,为开发团队评估和迭代代码审查智能体提供了贴近生产环境的离线验证方案。