arc-agi-benchmarking

VitaBench 面向配送、店内和 OTA 等真实生活服务场景，提供跨场景数据、API 工具和每个领域 100 个任务，用来评测 Agent 的读写与通用工具调用。你可以配置模型后运行 vita 命令，把模拟结果保存到 data/simulations 并重新评测；当前版本更新了数据集、工具、评测模型和指标，结果需要结合具体配置解读。

AgencyBench V2 覆盖游戏、前端、后端、代码、研究和 MCP 六类能力，提供 32 个真实长期场景、138 个任务及对应查询、交付物和评分规则。评测用用户模拟 Agent 迭代反馈，并在 Docker sandbox 中执行功能与视觉检查，结合规则、视觉和 LLM judge；场景通常需要模型 API 配置，游戏和前端还需要远程 Docker sandbox。

skill-optimizer 同时提供代理技能和本地 CLI，用测试用例与套件在 Docker 隔离环境中对技能做确定性评测，并通过 OpenRouter 在不同模型上运行多次试验。它可帮助编写、调试和比较评测结果，也支持把隐藏的 MCP 服务作为测试依赖。

TRAIL 是一个 Agent 轨迹基准数据集，包含 148 条带标注的执行轨迹和 841 个推理、执行与规划错误，来源覆盖软件工程和信息检索任务。你可以用兼容 LiteLLM 的模型运行 GAIA 或 SWE Bench 划分，再用评分脚本汇总结果；它适合研究复杂 Agent 工作流中的错误定位。