API 或服务端软件开发
mlx-serve
在 Apple Silicon Mac 上本地运行 MLX 与 GGUF 模型
- Stars
- 276
- Forks
- 21
- 更新时间
- 更新于 2026年7月14日
MIT
在 Apple Silicon Mac 上本地运行 MLX 与 GGUF 模型
mlx-serve 是面向 Apple Silicon 的原生本地推理服务器，并附带 MLX Core 菜单栏应用。用户可下载和管理 MLX 或 GGUF 模型，在终端或桌面界面聊天、使用工具与 Agent 模式，并通过 OpenAI、Anthropic 或 Ollama 兼容接口接入现有客户端。它不依赖 Python 或云端推理，但仅适合具备相应内存与算力的 Apple Silicon Mac。
资源类型
使用场景
运行平台
操作系统
把多个大模型提供商统一接入一个可切换网关
把 DeepSeek R1 推理与 Claude 生成串成统一对话接口
运行方式
协议与集成
核心能力
适合人群
GitHub 公开事实最近同步于 2026年7月14日。
免注册调用常用 REST 接口，并接入脚本或智能体工作流
按提示复杂度自动分配模型，控制 LLM 调用成本