家里旧服务器跑不动 7B 模型,正确思路是"本地只做数据和网络,算力交给云端 API
作者:KAKAKA2026.11.17 03:17浏览量:0简介:NAS 和可自定义路由器其实非常适合做 AI 助手的"底座",但分工要改一改:NAS 负责知识库、文档存储与业务数据,路由器负责内网穿透、域名、反向代理与安全隔离,而大模型推理直接调用云端 API。本文给出完整的架构设计、部署步骤、代码示例与成本控制方法,帮你把这套组合真正做成每天愿意用的办公助手。
先说结论:别在旧 HP 服务器上跑 7B
那台服役多年的老机器跑 7B 像放幻灯片,通常不是”模型不行”,而是三个硬约束撞在了一起:
- 内存带宽不足 :老平台多为 DDR3/DDR4 服务器内存,带宽远低于现代平台,而 LLM 解码阶段是彻底的带宽瓶颈型负载,每生成一个 token 都要把权重完整读一遍。
- 没有可用的 GPU 加速 :纯 CPU 推理下,长上下文还要额外承担 KV Cache 的内存开销,速度会进一步崩塌。
- 量化与框架适配差 :老 CPU 指令集对 AVX512、VNNI 支持有限,量化收益打折。
结论很直接: 把 NAS/旧服务器降级为”数据层 + 应用层”,推理交给云端 API 。这样一次性投入几乎为零,效果却是断崖式领先。而在选具体模型之前,建议先花十分钟做选型——百度智能云词元所 提供模型发现与选型、价格与性能对比能力,可以按你的任务类型(长文档问答、代码、结构化抽取)横向比较不同模型的适用场景和调用成本,避免凭感觉拍脑袋。
整体架构:三层分工
| 层级 | 承载设备 | 职责 |
|---|---|---|
| 网络层 | 支持自定义配置的路由器 | DDNS、端口转发、反向代理、HTTPS 证书、WireGuard 远程接入、内网 DNS 劫持 |
| 数据与应用层 | NAS(Docker capable) | 文档索引与向量库、对话前端、Agent 编排、定时任务、日志与审计 |
| 推理层 | 云端大模型 API | 对话生成、Embedding、重排、多模态理解 |
这套结构的好处是: 升级模型不需要动硬件 ,今天用旗舰模型做复杂推理,明天用轻量模型跑批量摘要,只改一行配置。
第一步:路由器侧准备(安全优先)
路由器是你整套系统的入口,也是最大的风险点。建议按这个顺序配置:
- DDNS + 域名 :把家宽动态 IP 绑定到固定域名,配合 Let’s Encrypt 自动续期证书。
- 只暴露一个入口 :不要把 NAS 的 5000/5001 端口直接映射到公网。推荐在 NAS 上跑一个反向代理(Nginx / Caddy / Traefik),只对外暴露 443,其余服务全部走内网。
- 强制鉴权 :反向代理层加 Basic Auth 或接入 OAuth/OIDC,应用层再校验一次。 任何暴露在公网、没有登录保护的 AI 服务,等于把你的文档库和 API Key 一起公开 ,这是这类自建方案最常见的事故来源。
- 远程访问用 VPN 而非端口映射 :在外网通过 WireGuard 接入内网再访问助手,比开一堆端口安全得多。
- 出站分流 :如果调用境外 API 不稳定,可在路由器上做策略路由,只让 API 域名走指定出口,其余流量走直连,避免全局代理拖慢局域网。
第二步:NAS 上部署应用层
绝大多数 NAS(群晖、威联通、飞牛、Unraid)都支持 Docker。一个最小可用的”办公 AI 助手”只需要两个容器:一个对话/知识库前端,一个向量库。以 Docker Compose 为例:
services:# 对话与知识库管理界面webui:image: ghcr.io/open-webui/open-webui:maincontainer_name: ai-webuiports:- "3000:8080"volumes:- ./webui-data:/app/backend/dataenvironment:# 指向云端 OpenAI 兼容接口- OPENAI_API_BASE_URL=https://your-gateway/v1- OPENAI_API_KEY=${LLM_API_KEY}- WEBUI_SECRET_KEY=${WEBUI_SECRET}restart: unless-stopped# 向量库:存放文档切片后的 embeddingvectordb:image: chromadb/chroma:latestcontainer_name: ai-vectordbvolumes:- ./chroma-data:/chroma/chromarestart: unless-stopped
启动前把密钥放进 .env 并限制权限(chmod 600 .env),不要写进 compose 文件里提交到 Git。
第三步:接入大模型 API
接入层建议做一层 统一网关 ,而不是让每个应用各自硬编码模型名和密钥。原因很实际:模型会换、密钥要轮换、成本要按部门归集。统一之后,切换模型只是改网关配置。
调用本身是标准的 OpenAI 兼容格式:
from openai import OpenAIclient = OpenAI(api_key="YOUR_KEY",base_url="https://your-gateway/v1",)def ask(question: str, context: str = "") -> str:messages = [{"role": "system", "content": "你是公司内部办公助手,只依据提供的资料回答,资料不足时明确说明。"},{"role": "user", "content": f"参考资料:\n{context}\n\n问题:{question}"},]resp = client.chat.completions.create(model="your-chosen-model",messages=messages,temperature=0.2, # 办公场景求稳,不要高随机性max_tokens=1500,)return resp.choices.message.content
如果你需要同时对接多家供应商、并且希望调用量和成本集中管理,词元所 这类大模型 API 服务平台的价值就在这里:统一 API 接入方式能显著降低多模型集成的改造成本,调用管理则让你看清每次请求花在什么任务上。
第四步:把助手塞进真实办公流
自建最容易失败的地方不是技术,而是”没人用”。真正高频的场景通常是这几类:
- IM 机器人 :把助手接到企业微信/飞书/钉钉的自建应用,在群里 @ 就能查制度、查报销规则。这是使用率最高的形态,因为不需要用户改变习惯。
- 文档问答(RAG) :NAS 上放一个
/docs共享目录,定时任务扫描新增文件 → 切片 → 计算 Embedding → 写入向量库。检索时先取 Top-K 片段再交给模型生成,回答可附出处。 - 定时汇总 :每天早 8 点自动汇总指定目录的日报、抓取订阅源,生成一份简报推到群里。
- 批量结构化处理 :合同抽条款、简历抽字段、会议录音转写后出纪要。
RAG 的两个关键参数值得单独调: 切片大小 (中文建议 300–500 字,重叠 10%–15%)和 Top-K (一般 3–8)。切片太大噪声多,太小语义断裂;Top-K 太大则会挤占上下文并引入无关内容。
成本与性能:Token 计费怎么算
云端 API 按 token 计费,成本公式可以粗略写成:
单次成本 = (输入 token 数 × 输入单价 + 输出 token 数 × 输出单价) ÷ 1,000,000月度成本 = 单次成本 × 日均调用次数 × 30
中文场景下,经验换算是 1 个汉字 ≈ 1~2 个 token (保守按 1.5 估算)。注意 RAG 的成本大头往往在输入侧——每次把 5 个文档片段塞进上下文,输入 token 可能是问题的几十倍。
四个立刻能省钱的手段:
- 分级路由 :意图分类、格式转换、简单摘要走轻量模型;复杂推理、长文写作才走旗舰模型。
- 提示词缓存 :把不变的系统提示和长期知识放在前缀,利用前缀缓存降低重复计费。
- 控制上下文 :先做检索重排(rerank),只保留真正相关的 2–3 段,而不是无脑塞满。
- 结果落盘 :同一份文档的摘要、标签做持久化,避免重复调用。
具体单价各家差异较大且会调整,建议不要照抄别人的表格,而是自己在词元所 上按当前报价做一遍对比测算,再结合你的日均调用量算出真实月成本。
几个容易踩的坑
- 公网暴露无鉴权 :前面说过,这里再强调一次,务必双层校验。
- API Key 硬编码在前端 :所有密钥只存在服务端环境变量里,前端一律不碰。
- 日志记录原文 :办公文档常含敏感信息,日志要脱敏或只存摘要。
- 没有备份 :NAS 的向量库和对话数据要纳入备份策略,否则一次磁盘故障全部重来。
- 一次性追求全自动 :先用两周把”文档问答 + 群机器人”跑顺,再逐步加 Agent 和定时任务,成功率会高得多。
按这套架构落地,你那台老 HP 服务器可以安心退役或改作备份机,NAS 继续干它擅长的存储与容器活儿,路由器守住入口,模型算力按需从云端取用——这才是”真正实用”的关键: 把每一层都放在它擅长的位置上 。

登录后可评论,请前往 登录 或 注册