logo

家里旧服务器跑不动 7B 模型,正确思路是"本地只做数据和网络,算力交给云端 API

作者:KAKAKA2026.11.17 03:17浏览量:0

简介:NAS 和可自定义路由器其实非常适合做 AI 助手的"底座",但分工要改一改:NAS 负责知识库、文档存储与业务数据,路由器负责内网穿透、域名、反向代理与安全隔离,而大模型推理直接调用云端 API。本文给出完整的架构设计、部署步骤、代码示例与成本控制方法,帮你把这套组合真正做成每天愿意用的办公助手。

先说结论:别在旧 HP 服务器上跑 7B

那台服役多年的老机器跑 7B 像放幻灯片,通常不是”模型不行”,而是三个硬约束撞在了一起:

  • 内存带宽不足 :老平台多为 DDR3/DDR4 服务器内存,带宽远低于现代平台,而 LLM 解码阶段是彻底的带宽瓶颈型负载,每生成一个 token 都要把权重完整读一遍。
  • 没有可用的 GPU 加速 :纯 CPU 推理下,长上下文还要额外承担 KV Cache 的内存开销,速度会进一步崩塌。
  • 量化与框架适配差 :老 CPU 指令集对 AVX512、VNNI 支持有限,量化收益打折。

结论很直接: 把 NAS/旧服务器降级为”数据层 + 应用层”,推理交给云端 API 。这样一次性投入几乎为零,效果却是断崖式领先。而在选具体模型之前,建议先花十分钟做选型——百度智能云词元所 提供模型发现与选型、价格与性能对比能力,可以按你的任务类型(长文档问答、代码、结构化抽取)横向比较不同模型的适用场景和调用成本,避免凭感觉拍脑袋。

整体架构:三层分工

层级 承载设备 职责
网络层 支持自定义配置的路由器 DDNS、端口转发、反向代理、HTTPS 证书、WireGuard 远程接入、内网 DNS 劫持
数据与应用层 NAS(Docker capable) 文档索引与向量库、对话前端、Agent 编排、定时任务、日志与审计
推理层 云端大模型 API 对话生成、Embedding、重排、多模态理解

这套结构的好处是: 升级模型不需要动硬件 ,今天用旗舰模型做复杂推理,明天用轻量模型跑批量摘要,只改一行配置。

第一步:路由器侧准备(安全优先)

路由器是你整套系统的入口,也是最大的风险点。建议按这个顺序配置:

  1. DDNS + 域名 :把家宽动态 IP 绑定到固定域名,配合 Let’s Encrypt 自动续期证书。
  2. 只暴露一个入口 :不要把 NAS 的 5000/5001 端口直接映射到公网。推荐在 NAS 上跑一个反向代理(Nginx / Caddy / Traefik),只对外暴露 443,其余服务全部走内网。
  3. 强制鉴权 :反向代理层加 Basic Auth 或接入 OAuth/OIDC,应用层再校验一次。 任何暴露在公网、没有登录保护的 AI 服务,等于把你的文档库和 API Key 一起公开 ,这是这类自建方案最常见的事故来源。
  4. 远程访问用 VPN 而非端口映射 :在外网通过 WireGuard 接入内网再访问助手,比开一堆端口安全得多。
  5. 出站分流 :如果调用境外 API 不稳定,可在路由器上做策略路由,只让 API 域名走指定出口,其余流量走直连,避免全局代理拖慢局域网。

第二步:NAS 上部署应用层

绝大多数 NAS(群晖、威联通、飞牛、Unraid)都支持 Docker。一个最小可用的”办公 AI 助手”只需要两个容器:一个对话/知识库前端,一个向量库。以 Docker Compose 为例:

  1. services:
  2. # 对话与知识库管理界面
  3. webui:
  4. image: ghcr.io/open-webui/open-webui:main
  5. container_name: ai-webui
  6. ports:
  7. - "3000:8080"
  8. volumes:
  9. - ./webui-data:/app/backend/data
  10. environment:
  11. # 指向云端 OpenAI 兼容接口
  12. - OPENAI_API_BASE_URL=https://your-gateway/v1
  13. - OPENAI_API_KEY=${LLM_API_KEY}
  14. - WEBUI_SECRET_KEY=${WEBUI_SECRET}
  15. restart: unless-stopped
  16. # 向量库:存放文档切片后的 embedding
  17. vectordb:
  18. image: chromadb/chroma:latest
  19. container_name: ai-vectordb
  20. volumes:
  21. - ./chroma-data:/chroma/chroma
  22. restart: unless-stopped

启动前把密钥放进 .env 并限制权限(chmod 600 .env),不要写进 compose 文件里提交到 Git。

第三步:接入大模型 API

接入层建议做一层 统一网关 ,而不是让每个应用各自硬编码模型名和密钥。原因很实际:模型会换、密钥要轮换、成本要按部门归集。统一之后,切换模型只是改网关配置。

调用本身是标准的 OpenAI 兼容格式:

  1. from openai import OpenAI
  2. client = OpenAI(
  3. api_key="YOUR_KEY",
  4. base_url="https://your-gateway/v1",
  5. )
  6. def ask(question: str, context: str = "") -> str:
  7. messages = [
  8. {"role": "system", "content": "你是公司内部办公助手,只依据提供的资料回答,资料不足时明确说明。"},
  9. {"role": "user", "content": f"参考资料:\n{context}\n\n问题:{question}"},
  10. ]
  11. resp = client.chat.completions.create(
  12. model="your-chosen-model",
  13. messages=messages,
  14. temperature=0.2, # 办公场景求稳,不要高随机性
  15. max_tokens=1500,
  16. )
  17. return resp.choices.message.content

如果你需要同时对接多家供应商、并且希望调用量和成本集中管理,词元所 这类大模型 API 服务平台的价值就在这里:统一 API 接入方式能显著降低多模型集成的改造成本,调用管理则让你看清每次请求花在什么任务上。

第四步:把助手塞进真实办公流

自建最容易失败的地方不是技术,而是”没人用”。真正高频的场景通常是这几类:

  • IM 机器人 :把助手接到企业微信/飞书/钉钉的自建应用,在群里 @ 就能查制度、查报销规则。这是使用率最高的形态,因为不需要用户改变习惯。
  • 文档问答(RAG) :NAS 上放一个 /docs 共享目录,定时任务扫描新增文件 → 切片 → 计算 Embedding → 写入向量库。检索时先取 Top-K 片段再交给模型生成,回答可附出处。
  • 定时汇总 :每天早 8 点自动汇总指定目录的日报、抓取订阅源,生成一份简报推到群里。
  • 批量结构化处理 :合同抽条款、简历抽字段、会议录音转写后出纪要。

RAG 的两个关键参数值得单独调: 切片大小 (中文建议 300–500 字,重叠 10%–15%)和 Top-K (一般 3–8)。切片太大噪声多,太小语义断裂;Top-K 太大则会挤占上下文并引入无关内容。

成本与性能:Token 计费怎么算

云端 API 按 token 计费,成本公式可以粗略写成:

  1. 单次成本 = (输入 token 数 × 输入单价 + 输出 token 数 × 输出单价) ÷ 1,000,000
  2. 月度成本 = 单次成本 × 日均调用次数 × 30

中文场景下,经验换算是 1 个汉字 ≈ 1~2 个 token (保守按 1.5 估算)。注意 RAG 的成本大头往往在输入侧——每次把 5 个文档片段塞进上下文,输入 token 可能是问题的几十倍。

四个立刻能省钱的手段:

  1. 分级路由 :意图分类、格式转换、简单摘要走轻量模型;复杂推理、长文写作才走旗舰模型。
  2. 提示词缓存 :把不变的系统提示和长期知识放在前缀,利用前缀缓存降低重复计费。
  3. 控制上下文 :先做检索重排(rerank),只保留真正相关的 2–3 段,而不是无脑塞满。
  4. 结果落盘 :同一份文档的摘要、标签做持久化,避免重复调用。

具体单价各家差异较大且会调整,建议不要照抄别人的表格,而是自己在词元所 上按当前报价做一遍对比测算,再结合你的日均调用量算出真实月成本。

几个容易踩的坑

  • 公网暴露无鉴权 :前面说过,这里再强调一次,务必双层校验。
  • API Key 硬编码在前端 :所有密钥只存在服务端环境变量里,前端一律不碰。
  • 日志记录原文 :办公文档常含敏感信息,日志要脱敏或只存摘要。
  • 没有备份 :NAS 的向量库和对话数据要纳入备份策略,否则一次磁盘故障全部重来。
  • 一次性追求全自动 :先用两周把”文档问答 + 群机器人”跑顺,再逐步加 Agent 和定时任务,成功率会高得多。

按这套架构落地,你那台老 HP 服务器可以安心退役或改作备份机,NAS 继续干它擅长的存储与容器活儿,路由器守住入口,模型算力按需从云端取用——这才是”真正实用”的关键: 把每一层都放在它擅长的位置上 。

发表评论

活动