mesh-llm + Goose 实战：免费开源 AI 编码代理的正确打开方式

mesh-llm + Goose 实战：免费开源 AI 编码代理的正确打开方式

【免费下载链接】mesh-llmDistributed AI/LLM for the people. Share compute privately or publicly to power your agents and chat.项目地址: https://gitcode.com/gh_mirrors/me/mesh-llm

mesh-llm 是一个开源的分布式 AI/LLM 推理项目，它把多台电脑上的 GPU 与显存汇聚成一张「算力网格」，对外只暴露一个 OpenAI 兼容的 API 端口。配合免费开源的 AI 编码代理 Goose，你可以不花一分钱 API 费用，用自己手头的机器跑起一个随时待命的 AI 编程助手。本文将从安装、配置到实战，一步步教你用 mesh-llm + Goose 组合搭建属于自己的免费开源 AI 编码代理。

mesh-llm 是什么：把闲置显卡变成免费 AI 推理池

简单说，mesh-llm 是「面向大众的分布式 AI」。它把多台机器（家用电脑、办公机、闲置服务器）的 GPU 显存聚合起来，让整个网络表现得像一台超大显存的机器，并统一通过http://localhost:9337/v1提供 OpenAI 兼容接口。

它的核心亮点有三个：

• 算力共享：单机放不下的模型，可以按层拆分（Skippy 分片），由多台机器协作推理；
• 智能路由：请求按model字段自动路由到能提供该模型的节点，单机能跑就在本地跑；
• 公私两用：可以加入公共网格蹭社区算力，也可以用邀请令牌组私有网格，隐私完全由你掌控。

对普通用户来说，最直观的体验是：一条命令启动后，浏览器打开http://localhost:3131就能看到这张「算力网格」的可视化控制台，节点连接、活跃模型、显存占用一目了然。

为什么选 Goose：免费开源 AI 编码代理的三大理由

Goose 是 Block 开源的 AI 编码代理（Coding Agent），可以直接在终端里帮你读代码、改文件、跑测试。选择它和 mesh-llm 搭配，理由很直接：

• 完全免费开源：没有按 token 计费，没有额度限制，模型跑在你自己（或公共网格）的机器上；
• 开箱即用：mesh-llm 提供了内置启动器，一条mesh-llm goose命令就能把 Goose 自动接到本地网格；
• 生态友好：Goose 支持 OpenAI 兼容协议，mesh-llm 暴露的/v1接口可以直接对接，官方文档也专门写了集成说明（见 docs/AGENTS.md）。

此外，同样的启动器还支持 OpenCode、Claude Code、Pi 等编码代理，一套网格多种玩法。

零成本起步：mesh-llm 一键安装方法

安装 mesh-llm 非常简单，你只需要一台有 GPU 的电脑（没有 GPU 也能先用小模型体验）。推荐通过源码仓库安装：

git clone https://gitcode.com/gh_mirrors/me/mesh-llm cd mesh-llm ./install.sh

Windows 用户也可以使用仓库中的install.ps1（PowerShell 版本）。安装完成后，执行初始化向导：

mesh-llm setup

它会帮你完成默认配置、身份与偏好设定。初始化完成后，项目还会自动写入启动脚本（scripts/ci-goose-smoke.sh展示了官方 CI 中 mesh 与 Goose 的完整对接流程，感兴趣的读者可以参考）。

最快配置方法：3 条命令接入公共算力网

不想折腾单机模型？mesh-llm 内置了「公共网格」机制，官方会公布若干公开网格，加入后即可借用社区节点推理。最快配置方法如下：

mesh-llm serve --auto

这一条命令会自动完成四件事：选择合适的后端、按需下载模型、加入发现到的最佳公共网格、在本机启动 API 端口 9337 和网页控制台端口 3131。

然后查看当前网格可用的模型列表：

curl -s http://localhost:9337/v1/models | jq '.data[].id'

再用一个 OpenAI 兼容请求验证推理是否通了：

curl http://localhost:9337/v1/chat/completions \ -H "Content-Type: application/json" \ -d '{"model":"GLM-4.7-Flash-Q4_K_M","messages":[{"role":"user","content":"hello"}]}'

到这里，你的「免费 AI 推理服务」已经上线了。

mesh-llm + Goose 实战：一条命令打通编码代理

现在进入本文的核心实战环节——把 Goose 接到 mesh-llm 上。得益于内置启动器，最快配置方法只需一行命令：

mesh-llm goose

这条命令会自动完成：写入 Goose 自定义 Provider 配置（~/.config/goose/custom_providers/mesh.json）并启动 Goose 会话。想指定模型，加上--model参数即可：

mesh-llm goose --model MiniMax-M2.5-Q4_K_M

模型 ID 从上面的/v1/models接口里挑一个支持工具调用（Tool Use）的即可，编码代理对工具能力要求较高。启动后，Goose 就可以在终端里帮你：

• 阅读并理解项目代码结构；
• 自动生成、修改源码文件；
• 运行测试并修复报错；
• 执行 git 操作与重构任务。

手动配置方法：自定义 Provider 的另一种姿势

如果你不想用启动器，也可以手动把 Goose 指向 mesh-llm 的 OpenAI 兼容端点。设置环境变量即可：

export GOOSE_PROVIDER="openai" export GOOSE_MODEL="<模型ID>" export OPENAI_HOST="http://127.0.0.1:9337" export OPENAI_API_KEY="mesh"

或者直接编辑 Goose 的自定义 Provider 文件（macOS/Linux 位于~/.config/goose/custom_providers/），把base_url指向http://127.0.0.1:9337/v1。两种方式任选其一，Goose 官方文档和 mesh-llm 的 docs/AGENTS.md 都有详细说明。

进阶玩法：私有网格、邀请令牌与大模型分片

体验过公共网格之后，你还可以打造自己的私有 AI 算力池：

• 启动私有网格：mesh-llm serve --model Qwen3-8B-Q4_K_M，单机先跑起来；
• 发布自己的网格：mesh-llm serve --model Qwen3-8B-Q4_K_M --publish，让别人通过 Nostr 发现加入；
• 邀请好友组队：mesh-llm serve --join <邀请令牌>，适合几个朋友共享一台高配机器；
• 跑超大模型：单机显存放不下的模型，用--split启用 Skippy 分层拆分，多节点接力推理。

更详细的网格拓扑规划可以参考项目内的 docs/MESHES.md，分片推理原理见 docs/SKIPPY_SPLITS.md。

常见问题 FAQ

Q1：没有 GPU 能玩吗？可以。小尺寸量化模型（如 Qwen 4B 级别）在 CPU 上也能推理，只是速度慢一些，适合先熟悉流程。

Q2：Goose 连不上 mesh 怎么办？先确认curl http://localhost:9337/v1/models有返回，再看--port是否与启动端口一致（默认 9337）。

Q3：mesh-llm 收费吗？项目完全开源免费。加入公共网格使用的是社区共享算力，自行搭建私有网格则只用你自己的硬件。

Q4：除了 Goose 还支持哪些编码代理？OpenCode、Claude Code、Pi 都有对应的启动器（mesh-llm opencode、mesh-llm claude、mesh-llm pi）。

总结

mesh-llm 让「AI 算力民主化」不再是口号——它把个人电脑的闲置显卡汇聚成免费可用的推理网格，而 Goose 则让这份算力直接转化为生产力。从mesh-llm serve --auto到mesh-llm goose，全程只需两条命令，你就能拥有一个完全免费、开源、数据可控的 AI 编码代理。

如果你手头正好有几台闲置的电脑或一块吃灰的显卡，不妨从今天开始，把它们变成你的专属 AI 编程助手。

【免费下载链接】mesh-llmDistributed AI/LLM for the people. Share compute privately or publicly to power your agents and chat.项目地址: https://gitcode.com/gh_mirrors/me/mesh-llm