找到真正适合你的开源方案。

项目简介

AgencyBench V2 覆盖游戏、前端、后端、代码、研究和 MCP 六类能力，提供 32 个真实长期场景、138 个任务及对应查询、交付物和评分规则。评测用用户模拟 Agent 迭代反馈，并在 Docker sandbox 中执行功能与视觉检查，结合规则、视觉和 LLM judge；场景通常需要模型 API 配置，游戏和前端还需要远程 Docker sandbox。

项目简介

VitaBench 面向配送、店内和 OTA 等真实生活服务场景，提供跨场景数据、API 工具和每个领域 100 个任务，用来评测 Agent 的读写与通用工具调用。你可以配置模型后运行 vita 命令，把模拟结果保存到 data/simulations 并重新评测；当前版本更新了数据集、工具、评测模型和指标，结果需要结合具体配置解读。

项目简介

ARC-AGI-2 提供 1000 个公开训练任务和 120 个公开评测任务，用彩色整数网格测试首次遇到新问题时的抽象推理能力。每题包含示例输入输出和待解测试输入，只有输出尺寸及全部单元格完全正确才算通过；开发时应避免反复利用评测集反馈造成数据泄漏。

项目简介

SWE-Gym 提供 2,400 个来自 11 个 Python 仓库的真实软件工程任务，并配套代码上下文、可执行环境和测试验证，用于生成轨迹、训练 Agent 与验证器。仓库面向研究复现，需配合其数据集、预构建 Docker 镜像以及 OpenHands 或 MoatlessTools 的实验说明使用。

项目简介

TRAIL 是一个 Agent 轨迹基准数据集，包含 148 条带标注的执行轨迹和 841 个推理、执行与规划错误，来源覆盖软件工程和信息检索任务。你可以用兼容 LiteLLM 的模型运行 GAIA 或 SWE Bench 划分，再用评分脚本汇总结果；它适合研究复杂 Agent 工作流中的错误定位。

项目简介

wallpaper6/design-skills 提供 40 个原子图案配方，把对称、密度、旋转、扭曲、图形效果和光效组合成确定性的变换。开发者可从 recipes.json、JSONL 或 CSV 读取配方，TypeScript 项目也有类型定义；仓库保留未维护的 64 项 v1 文件以兼容旧用户，新项目应使用 v2 recipes.json。