你以为花 $40k 就能在自家客厅跑一台"几乎等于 Claude Opus"的机器？ jamesob 用 21 次 commit 告诉你：这数字得先加个 15k 才够诚实。
一份被 1.8k 颗 Star 抬上桌的账本
前几天在 HN 头条上刷到一个仓库：jamesob/local-llm。作者一句 AI 都没让写（他在 README 里特意标了），把自家 4 张 RTX PRO 6000 的开销、BIOS 配置、PCIe 交换机接线一股脑贴出来。Star 数一天涨到 1.8k，HelloGitHub 第 124 期把它列为唯一推荐。
这类"本地跑大模型"的教程网上一抓一大把，为什么 jamesob 这份能出圈？
因为它不是那种"用 Ollama 一键装 Llama 3"的糊弄文章。它做的是一件更贵、也更少人愿意做的事：把两条极端预算路径同时摊开，让你看清"入门"和"发烧"之间到底差了什么。
$2k 一档，48GB VRAM，跑 Qwen3.6-27B。$40k 一档，384GB VRAM，跑 GLM-5.2-594B。中间那个 $20k 档？作者自己都写着 TODO——他没试过，也懒得瞎编。
这种"我只讲我亲手花过的钱"的姿态，比任何"2026 本地 LLM 终极指南"都值钱。
$2k 入门档：48GB VRAM 够干什么
先说结论：双 RTX 3090，48GB VRAM 总量，$2k 出头。
作者推荐的模型是 Qwen3.6-27B。你可能觉得 27B 参数听起来平庸，但在 3090 这个价位段，它已经能覆盖大部分单人开发者的日常场景：写代码、改文档、做 RAG 检索、跑本地 agent。
更有意思的是，作者在 $2k 档配了一套本地 STT（语音转文字）。用的模型叫 cohere-transcribe，比之前主流的 whisper-large-v3 更准。作者自己写了个跨平台的 stt harness，喊一声就把话录下来转成文字。
为什么强调这个？因为语音输入是"本地跑"最有说服力的场景之一。
想想你平时怎么和 AI 打字：写命令、写 prompt、写日报。如果这些东西的语音入口在云端，你的每一句"随手念叨"都在别人服务器里存了副本。而 STT 本地化之后，麦克风数据永远不出你家局域网。这不是安全洁癖，是基本的信息卫生。
11GB VRAM 就能跑 STT，占用一张 3090 的一半。另一半留给 27B 主模型。这套配比，$2k 内搞定，几乎是消费级硬件跑 SOTA 本地 AI 的最低门槛。
$20k 中间档：作者留白的理由
READY 里那句 “(TODO)” 特别耐人寻味。
作者写的是：“我没这段经验，帮不上什么忙。”
他列了三条可能路径：2 张 RTX 6000 Pro、4 台 DGX Sparks 组网、Apple 硬件全家桶。但没有一条给出实测数据。
这个价位段为什么是空白？我猜测有两个原因。
第一，$20k 卡在"不划算"的死角。往下拉到 $2k，你能享受消费卡的性价比。往上推到 $40k，你直接买到接近 Opus 级别的智能。中间这一档，硬件成本已经不便宜，但模型能力还是被 VRAM 卡脖子——上不去 400B 参数的大模型，下又比双 3090 贵一个数量级。
第二，$20k 的最优解太分裂。你可以买 2 张 RTX 6000 Pro（192GB VRAM），可以组 4 台 Mac Studio 512GB 统一内存，可以搞 DGX Spark 集群。每种路线的软件栈、驱动生态、社区支持完全不同，没有一个万能配方。
这就是为什么 jamesob 干脆跳过。“我不知道"比"我猜是这样"值钱得多——这在技术博客里是稀有品德。
$40k 发烧档：先把账算清楚
来到重头戏。
作者的 BOM 是：4 张 RTX PRO 6000 Blackwell（每张 96GB VRAM，共 384GB） + 上一代 EPYC 主板 + 128GB DDR4 + 双 1700W 电源 + c-payne PCIe4 交换机 + 一堆 M.2 存储。
宣传口径写的是 $40k。真花了多少？
GPU 那栏：~$46,000。
作者自己在 README 里写了 “I was lucky/dumb enough to buy 4x RTX Pro 6000s back when they were cheaper”——他是早期低价买的。按 HN 网友 Aurornis 的现价算法：RTX 6000 Pro 现在 $12k 一张，4 张就是 $48k，加上主机、交换机、存储、电源合起来 $5.7k，真实总账是 $53k~55k。
“For those doing the math, this build is going to cost more like $50-55K.” —— Aurornis, HN 评论区，2026-07
这个真实账本比宣传的 $40k 高 25%~35%。不是作者骗你，是硬件涨价太快。这也是为什么"本地跑 LLM"的 TCO 分析必须每半年重新算一次——你去年做的 spreadsheet，今年已经过时。
跑什么模型？作者用的是 GLM-5.2-Int8Mix-NVFP4-REAP-594B。REAP 是一种量化 + 剪枝的组合技，能让 594B 参数塞进 384GB VRAM 里。作者的实测吞吐是**~80 tokens/秒 @ 460k 上下文长度**。
这是什么概念？460k 上下文差不多够塞进一本《三体》第一部的中文原文，一次性喂给模型问它"帮我总结叶文洁的动机变化”，然后 80 tok/s 就是它一秒吐 80 个字。响应速度比大部分云 API 还快，因为没有网络往返和排队。
你以为买硬件就完了？三个静默降速坑
如果这个仓库只讲"买什么"，那它就是一份贵价购物清单，没什么稀罕。
真正让 jamesob 这份指南脱颖而出的，是他把**“买回家之后为什么跑不起来”**这一段写透了。
坑 1：BIOS 里的 PCIe 分叉与链路降速
主板是 ASRock Rack ROMED8-2T。默认 BIOS 会把插着 c-payne 交换机的那个 x16 槽自动分叉成 x8/x8，结果交换机的上行链路直接掉一半速度。
你插上 GPU、开机、跑 nvidia-smi，看起来一切正常。跑推理，速度慢得莫名其妙。查了一圈发现是 BIOS 里 “AMD PCIE Link Width” 需要手动强制成 x16。
更阴的是 PCIe 链路速度。Blackwell 是 Gen5 卡，c-payne 交换机是 Gen4。默认 Auto 协商时，Blackwell 的 Gen5 逻辑试图和 Gen4 交换机握手，有几率握失败然后回落到 Gen1（2.5GT/s）。是的，Gen1，比 USB 3.0 还慢。
作者的解法是：BIOS 里手动锁定 Gen4，禁用 ASPM，禁用 SR-IOV，启用 Re-Size BAR。每一条都不改，你的 $50k 就在 Gen1 上跑推理，性能损失不是 10% 是 90%。
坑 2：内核参数里的 IOMMU 陷阱
/etc/default/grub 里的启动参数要加：
GRUB_CMDLINE_LINUX_DEFAULT="iommu=off amd_iommu=off nomodeset"
不加会怎样？NCCL（NVIDIA 的多卡通信库）在多 GPU allreduce 阶段直接挂死。你的推理进程会卡在初始化，日志里没有明显报错，就是不动。
作者在 README 里加了一句：Without iommu=off, NCCL hangs on multi-GPU P2P. 一行字，救了后来者好几个小时的排查时间。
坑 3：ACS 不关，$1330 的 PCIe 交换机白买
这是最刁的一个。
作者花了 $1,330 买 c-payne 交换机，目的是让 4 张 GPU 点对点直接通信，不用绕道 CPU。但 Linux 默认开启 ACS（Access Control Services）——这玩意会强制把 P2P 流量弹回 CPU 根端口，你的交换机就等于摆设。
解法是写一个 systemd oneshot 服务，开机自动关 ACS：
#!/bin/bash
for BDF in $(lspci -d "*:*:*" | awk '{print $1}'); do
setpci -s ${BDF} f2a.w=0000 >/dev/null 2>&1
done
关完之后 nvidia-smi topo -m 应该显示所有 GPU 之间是 PIX（switch internal），不是 PHB/NODE（穿过 CPU）。作者顺手写了个 measure-gpu-speed.sh 工具帮你验证。
关掉 ACS 后，实测数据是：Gen4 x16 上行 30 GB/s，卡间 P2P 单向 27.5 GB/s、双向 50.4 GB/s，延迟 0.37~0.45 微秒。基本跑满 Gen4 线速。
如果你没关 ACS，同样的硬件，P2P 带宽会腰斩甚至更狠，推理吞吐直接砍到一半。买家秀和买家坑，就差这一行 shell。
三年 TCO 实算：本地 vs Claude Opus API
好了，硬件坑讲完了，回到最实际的问题：这套东西值不值得？
我们用 $40k 档做基准，算三年账。
本地档账单
| 项 | 一次性 | 每年 | 三年合计 |
|---|---|---|---|
| GPU（4×RTX 6000 Pro） | $48,000 | $48,000 | |
| 主机 + 交换机 + 存储 | $5,700 | $5,700 | |
| 电费（1.4kW GPU + 300W 系统，按 $0.15/度 8h/天算） | $746 | $2,240 | |
| 运维工时（月均 4h，$50/h） | $2,400 | $7,200 | |
| 硬件贬值（3 年后残值按 30%） | -$16,110 | ||
| 净支出 | ~$47,030 |
三年花了大概 $47k，能得到什么？一台 24/7 属于你自己的 GLM-5.2 级模型，每秒 80 tokens，460k 上下文，数据不出本地。
云 API 对比
Claude Opus 4.1 现价：Input $15/M tokens，Output $75/M tokens。
假设你每天用得比较狠：输入 500k tokens，输出 100k tokens。日成本大约 $15。
三年 = 365×3×$15 ≈ $16,425。
云 API 三年花 $16k 就够。本地档扣掉残值三年 $47k。云比本地便宜 65%。
看到这数字你可能会觉得：“那本地就是智商税啊。”
慢着。这笔账里有几个变量：
- 数据敏感度：如果你每天喂给模型的都是客户合同、公司代码、患者病历，Anthropic 的 ToS 再友好，你也睡不着觉。这种情况下，本地 = 保险费。
- 调用频次：上面按每天 600k tokens 算，是个人开发者的水平。如果是团队 20 人共用，日均 12M tokens，云 API 就成了 $300/天，三年 $328k，本地立刻从"贵"变"便宜"。
- 私有微调：本地机器可以随时跑 fine-tuning、量化实验、REAP 剪枝。这些在闭源 API 上要么不支持要么天价。
结论：本地跑 SOTA 大模型，一年 $16k 的 API 账单都不到的人，别折腾；三年打算烧掉 $300k+ 云成本的团队，或者数据敏感到不能上云的场景，那 $50k 的硬件是笔便宜投资。
$2k 档才是绝大多数人的入口
回过头看 jamesob 的两档设计，我个人的解读是：
- $40k 档是"炫技和验证"——证明消费级硬件配合正确的软硬件配置，能压到 SOTA 边缘。
- $2k 档才是"给普通人用"的——48GB VRAM、Qwen3.6-27B、本地 STT，覆盖 80% 场景，成本只有 4%。
我自己现在也主要用 $2k 段位那种配置：一张 3090 + Ollama + Cherry Studio + 本地 whisper。日常写代码、跑 agent、做 RAG，够用。真需要写长篇内容或多模态，才切回云 API。
混合策略是最经济的：本地跑高频、低敏感度的任务；云端只处理低频、复杂推理的重活。
这不是妥协，是成本工程。
结尾：你到底该走哪条路
如果你在纠结要不要本地跑大模型，问自己三个问题：
- 你的输入数据能不能公开出去？ 不能 → 走本地；能 → 继续看下一题。
- 每年 API 账单会不会超过 $10k？ 会 → 有本地化的经济动机；不会 → API 更省。
- 你愿不愿意花 20 小时调 BIOS 和内核？ 愿意 → 直接冲；不愿意 → 老实付 Anthropic 月费。
三个问题都答"是"，那 jamesob 这份 README 就是你的下一个周末项目。
三个问题里有任何一个"否"，请把这笔 $50k 花在别的地方。
代码是逻辑的诗，硬件账本是现实的刀——本地跑大模型这件事，浪漫归浪漫，先算清楚账再动手。