trail-benchmark

VitaBench 面向配送、店内和 OTA 等真实生活服务场景，提供跨场景数据、API 工具和每个领域 100 个任务，用来评测 Agent 的读写与通用工具调用。你可以配置模型后运行 vita 命令，把模拟结果保存到 data/simulations 并重新评测；当前版本更新了数据集、工具、评测模型和指标，结果需要结合具体配置解读。

AgencyBench V2 覆盖游戏、前端、后端、代码、研究和 MCP 六类能力，提供 32 个真实长期场景、138 个任务及对应查询、交付物和评分规则。评测用用户模拟 Agent 迭代反馈，并在 Docker sandbox 中执行功能与视觉检查，结合规则、视觉和 LLM judge；场景通常需要模型 API 配置，游戏和前端还需要远程 Docker sandbox。

skill-optimizer 同时提供代理技能和本地 CLI，用测试用例与套件在 Docker 隔离环境中对技能做确定性评测，并通过 OpenRouter 在不同模型上运行多次试验。它可帮助编写、调试和比较评测结果，也支持把隐藏的 MCP 服务作为测试依赖。

该工具用统一配置在 ARC-AGI 任务上调用 OpenAI、Anthropic、Gemini 等模型适配器，并处理并发、限流、重试、结果保存和评分。它既支持单题调试也支持批量评测；使用完整 ARC-AGI 数据需另行克隆数据集，调用商业模型还需相应 API 凭据。