找到真正适合你的开源方案。

项目简介

SWE-bench 从真实 GitHub 仓库抽取代码库与 issue，要求受测智能体给出能够解决问题的补丁，并通过可复现的 Docker 环境进行验证。它适合比较编程智能体和语言模型的实际修复能力，但本地评测资源消耗较高，建议使用 x86_64 机器并准备至少 120GB 存储和 16GB 内存。

项目简介

AgentBench 用八类环境检验大模型能否自主完成数据库、操作系统等交互任务，并提供统一运行与比较框架。当前仓库包含与 AgentRL 集成的函数调用版本；完整环境依赖 Docker，旧版基准的依赖较老，使用 Python 3.9 通常更稳妥。

项目简介

这个资料库用统一表格比较 Electron、Tauri、NW.js、Wails、NodeGui、Neutralino、Flutter 和 .NET MAUI，帮助开发者在把 Web 技术带到桌面端时评估框架。内容覆盖平台与前端兼容性、更新能力、项目活跃度、包体和内存等指标，并提供基于 GitHub CI 的示例基准。基准结果受机器负载和单次测试影响，应作为同环境下的参考，而不是绝对性能排名。

项目简介

BrowserGym 把开放网页任务和 MiniWoB、WebArena、WorkArena 等基准统一封装为可扩展的 Gym 环境，便于研究者实现智能体循环、运行任务并收集评测结果。用户可按需安装核心包或特定基准，并通过 Playwright 驱动 Chromium。它面向网页智能体研究而非普通消费者，部分基准还需要各自的额外配置。

项目简介

Waza 是用于 Agent Skills 的 Go 命令行工具，可初始化评测、运行基准并比较不同模型或执行器的结果。它还能检查技能前置元数据、Token 预算、评测文件和 agentskills.io 规范符合度，并把结果接入 CI；适合需要持续衡量技能质量和回归变化的作者与团队。

项目简介

ARC-AGI-2 提供 1000 个公开训练任务和 120 个公开评测任务，用彩色整数网格测试首次遇到新问题时的抽象推理能力。每题包含示例输入输出和待解测试输入，只有输出尺寸及全部单元格完全正确才算通过；开发时应避免反复利用评测集反馈造成数据泄漏。

项目简介

Skillgrade 可从带有 SKILL.md 的目录生成 eval.yaml，并用多轮任务检查 Agent 是否能正确发现和应用技能。它支持 Gemini、Claude、Codex、ACP、OpenCode 和自定义命令，可组合确定性评分与 LLM 量表，并通过命令行或浏览器查看结果；运行环境需要 Node.js 20+，Docker、模型密钥或本地命令按所选执行器决定。

项目简介

SkVM 先测量模型与智能体运行框架的基础能力，再针对这组模型与框架组合编译技能，并通过运行时优化和基准任务比较原始、编译及优化版本。它适合需要让同一技能适配不同模型或智能体运行框架的开发者；初始化需配置模型提供商，使用内置评测集时还要拉取独立的数据子模块。

项目简介

MCP-Zero 是论文配套的开源代码，用于研究自主 LLM Agent 的主动工具发现和检索方法。仓库提供包含 308 个服务器、2797 个工具的 MCP-tools 数据集说明，并保留了从 MCP 服务器构建自定义数据集的代码；使用时需要先取得数据文件并放到指定路径。

项目简介

该工具用统一配置在 ARC-AGI 任务上调用 OpenAI、Anthropic、Gemini 等模型适配器，并处理并发、限流、重试、结果保存和评分。它既支持单题调试也支持批量评测；使用完整 ARC-AGI 数据需另行克隆数据集，调用商业模型还需相应 API 凭据。

项目简介

VitaBench 面向配送、店内和 OTA 等真实生活服务场景，提供跨场景数据、API 工具和每个领域 100 个任务，用来评测 Agent 的读写与通用工具调用。你可以配置模型后运行 vita 命令，把模拟结果保存到 data/simulations 并重新评测；当前版本更新了数据集、工具、评测模型和指标，结果需要结合具体配置解读。

项目简介

AgencyBench V2 覆盖游戏、前端、后端、代码、研究和 MCP 六类能力，提供 32 个真实长期场景、138 个任务及对应查询、交付物和评分规则。评测用用户模拟 Agent 迭代反馈，并在 Docker sandbox 中执行功能与视觉检查，结合规则、视觉和 LLM judge；场景通常需要模型 API 配置，游戏和前端还需要远程 Docker sandbox。

项目简介

Letta Evals 为 Letta Agent 提供从 dataset、target、extractor、grader 到 reward 和 result 的评测框架，支持 JSONL/CSV 数据集、多轮输入、多模型运行和缓存结果复评。目标通常通过 Letta Code CLI 连接自托管或云端 Letta server，并要求 Python 3.11+ 和模型提供商 API key；套件也适合在 CI 中重复运行。

项目简介

skill-optimizer 同时提供代理技能和本地 CLI，用测试用例与套件在 Docker 隔离环境中对技能做确定性评测，并通过 OpenRouter 在不同模型上运行多次试验。它可帮助编写、调试和比较评测结果，也支持把隐藏的 MCP 服务作为测试依赖。

项目简介

SUPER 用来自真实机器学习与自然语言处理研究仓库的任务，评估 LLM 智能体是否能完成环境配置、代码执行和结果回答。数据集包含 Expert、Masked 与 AutoGen 三组任务，并附带运行和评估代码；本地模式会直接在机器上执行代码，官方也提供 Docker 与 Modal 方案以降低隔离风险并支持并发测试。

项目简介

TRAIL 是一个 Agent 轨迹基准数据集，包含 148 条带标注的执行轨迹和 841 个推理、执行与规划错误，来源覆盖软件工程和信息检索任务。你可以用兼容 LiteLLM 的模型运行 GAIA 或 SWE Bench 划分，再用评分脚本汇总结果；它适合研究复杂 Agent 工作流中的错误定位。

项目简介

按机器学习与高级分析、生成式 AI 采用、代理式 AI 准备度三个维度给组织打 0–100 分，并映射到五个成熟度层级。技能提供权重、证据要求和研究评分流程，适合公开资料驱动的横向比较与尽调讨论，但无法覆盖企业内部未公开的真实能力。