项目概览
Letta Evals 为 Letta Agent 提供从 dataset、target、extractor、grader 到 reward 和 result 的评测框架，支持 JSONL/CSV 数据集、多轮输入、多模型运行和缓存结果复评。目标通常通过 Letta Code CLI 连接自托管或云端 Letta server，并要求 Python 3.11+ 和模型提供商 API key；套件也适合在 CI 中重复运行。
仓库事实
- 主要语言
- Python
- 许可证
- Apache-2.0
- 仓库更新时间
- 2026年7月8日
- 默认分支
- main
资源类型
开发框架评测或基准命令行应用
使用场景
测试与调试AI 与智能体开发数据与分析
运行方式
命令行云端运行本地运行沙箱运行自托管
协议与集成
CLI 集成
核心能力
代码执行数据检索可观测性验证与评测工作流自动化
适合人群
开发者研究人员