15个真实项目全编译,U2-Flash取得满分
CompileBench 测试的是大模型能否把真实开源项目编译出来。它使用 curl、jq、GNU Coreutils 等未经修改的项目源码设置了15个构建任务要求 Agent 在交互式 Linux 终端中完成从源码到可执行文件的全过程。这类任务需要模型查看项目文件、判断构建方式、安装依赖、执行命令并根据报错继续调整。依赖缺失、版本冲突、构建脚本报错甚至 Windows、ARM64 等交叉编译问题都可能出现在过程中。只有最终成功产出可执行文件任务才算完成。U2-Flash 面向 Agent 和 Coding 等场景工具使用、错误分析与连续执行能力是它完成这类任务的关键。相比写出一段代码CompileBench 更关注模型能否处理构建过程中的问题把项目真正编译通过。本轮评测成绩如下U2-Flash100%DeepSeek V4.1 Flash100%Qwen3.8-Flash100%DeepSeek-V4-Flash100%GLM-5.3-Flash93.33%Kimi K391.11%U2-Flash 完成了全部15个真实构建任务以100%的成绩与其他三款模型并列满分。
上一篇/下一篇内容由系统自动关联
返回资讯列表 →