skill-optimizer

VitaBench 面向配送、店内和 OTA 等真实生活服务场景，提供跨场景数据、API 工具和每个领域 100 个任务，用来评测 Agent 的读写与通用工具调用。你可以配置模型后运行 vita 命令，把模拟结果保存到 data/simulations 并重新评测；当前版本更新了数据集、工具、评测模型和指标，结果需要结合具体配置解读。

AgencyBench V2 覆盖游戏、前端、后端、代码、研究和 MCP 六类能力，提供 32 个真实长期场景、138 个任务及对应查询、交付物和评分规则。评测用用户模拟 Agent 迭代反馈，并在 Docker sandbox 中执行功能与视觉检查，结合规则、视觉和 LLM judge；场景通常需要模型 API 配置，游戏和前端还需要远程 Docker sandbox。

TRAIL 是一个 Agent 轨迹基准数据集，包含 148 条带标注的执行轨迹和 841 个推理、执行与规划错误，来源覆盖软件工程和信息检索任务。你可以用兼容 LiteLLM 的模型运行 GAIA 或 SWE Bench 划分，再用评分脚本汇总结果；它适合研究复杂 Agent 工作流中的错误定位。

该工具用统一配置在 ARC-AGI 任务上调用 OpenAI、Anthropic、Gemini 等模型适配器，并处理并发、限流、重试、结果保存和评分。它既支持单题调试也支持批量评测；使用完整 ARC-AGI 数据需另行克隆数据集，调用商业模型还需相应 API 凭据。