vitabench

项目简介

AgencyBench V2 覆盖游戏、前端、后端、代码、研究和 MCP 六类能力，提供 32 个真实长期场景、138 个任务及对应查询、交付物和评分规则。评测用用户模拟 Agent 迭代反馈，并在 Docker sandbox 中执行功能与视觉检查，结合规则、视觉和 LLM judge；场景通常需要模型 API 配置，游戏和前端还需要远程 Docker sandbox。

项目简介

skill-optimizer 同时提供代理技能和本地 CLI，用测试用例与套件在 Docker 隔离环境中对技能做确定性评测，并通过 OpenRouter 在不同模型上运行多次试验。它可帮助编写、调试和比较评测结果，也支持把隐藏的 MCP 服务作为测试依赖。