项目概览
WebLLM Chat 利用 WebGPU 在浏览器内加载并运行大语言模型,让提示词、回复和模型处理留在本机,而不是交给云端推理服务。完成首次设置和模型下载后,它可离线使用,界面支持 Markdown、图片输入和多种内置模型;高级用户还可连接通过 MLC-LLM 提供的自定义模型接口。使用浏览器原生推理需要浏览器支持 WebGPU。
仓库事实
- 主要语言
- TypeScript
- 许可证
- Apache-2.0
- 仓库更新时间
- 2026年7月13日
- 默认分支
- main
资源类型
Web 应用
使用场景
沟通与协作
运行方式
浏览器Docker本地运行
协议与集成
REST
适合人群
普通用户