logo

MTT AIBOOK 端侧大模型选型与部署指南

作者:沙与沫2026.11.17 03:25浏览量:0

简介:端侧跑大模型,内存容量和带宽决定速度,TOPS 只是参考。本文讲清显存与解码速度的估算方法、混合精度与量化的做法、端云分工思路,并给出部署前的检查项和选型步骤,帮你少走弯路。

先说结论:MTT AIBOOK 标称 50 TOPS 异构 AI 算力,在内存足够、带宽合理、上下文不过长的前提下,能够本地运行经 INT8 或 INT4 量化的 1.5B 到 8B 参数模型。端侧速度主要受内存容量和内存带宽限制,而不是 TOPS 数字。下面按“算力、精度、显存、端云、部署、场景、选型”的顺序展开。

一、TOPS 不等于推理速度

据官方公开资料,MTT AIBOOK 采用摩尔线程自研 SoC“长江”,标称 50 TOPS 异构 AI 算力,支持 INT8、FP16、FP32 混合精度。具体规格请以官方规格书为准。读数字时有三点需要注意。

第一,TOPS 通常按 INT8 标称。换算到 FP16,等效峰值通常大致减半,换算到 FP32 更低。所以 50 TOPS 不能直接当作 FP16 下的性能。

第二,实际利用率远低于峰值。算子实现、访存效率和调度方式都会影响利用率。经验上,端侧推理的利用率常在 30%~60% 之间,但不同模型和负载差异很大,应以自己的实测结果为准。

第三,大语言模型的解码阶段受访存限制。逐 token 生成时,每输出一个 token 都要读一遍全部权重,因此单请求解码速度的理论上限可以这样估算:

  1. 单请求解码速度(token/s) ≈ 内存带宽(GB/s) ÷ 每 token 需读取的权重体积(GB)

举例来说,7B 模型经 INT4 量化后权重约 4 GB。若设备可用带宽为 100 GB/s,理论上限约为 25 token/s。实际速度会低于这个值。

想提升单路生成速度,应优先做三件事:使用量化、换更小的模型、提高内存带宽的有效利用率。提高 batch 并发可以增加设备的总吞吐,但每个请求的等待时间可能变长,两者不能混为一谈。

二、混合精度的分工

推理引擎通常按算子分配精度。常见做法如下。

精度 典型用途 原因
INT8 线性层矩阵乘(GEMM) 吞吐高,精度损失可控
FP16 对精度敏感的层、注意力计算 兼顾速度与数值稳定
FP32 Softmax、LayerNorm、累加器 避免溢出和累积误差

实际部署时,建议直接使用成熟推理引擎提供的 INT8 或 INT4 权重量化加 FP16 激活方案,不需要手写混合精度策略。

量化之后必须做回归评测。评测集建议不少于 300 条,覆盖长文本理解、代码生成和 JSON 结构化输出三类任务。以未量化的 FP16 模型为基线,若任一任务指标下降超过 2 个百分点,就需要排查量化配置或校准数据。这个阈值是建议起点,团队可以根据业务容忍度调整。

三、先算显存,再看效果

权重占用可以用下面的公式估算:

  1. 权重体积 ≈ 参数量 × 每参数字节数(FP16 为 2,INT8 为 1,INT4 约为 0.5)
模型规模 FP16 INT8 INT4 端侧可行性
1.5B 约 3 GB 约 1.5 GB 约 0.9 GB 容易常驻,适合唤醒词、分类
3B 约 6 GB 约 3 GB 约 1.8 GB 流畅,适合通用对话
7B/8B 约 14~16 GB 约 7~8 GB 约 4 GB 需要量化,是效果与速度的常见平衡点
13B/14B 约 26~28 GB 约 13~14 GB 约 7 GB 内存紧张,长上下文容易溢出
32B 约 64 GB 约 32 GB 约 16 GB 不建议在端侧部署

除了权重,还要计算 KV Cache:

  1. KV 占用 ≈ 2 × 层数 × KV 头数 × head_dim × 序列长度 × 每元素字节数 × 并发数

以一个 32 层、32 个 KV 头、head_dim 为 128 的 7B 模型为例,使用 FP16、序列长度 4096 时,单个请求的 KV Cache 约为 2 GB。若模型使用分组查询注意力(GQA),KV 头数减少到 8,同样条件下约为 0.5 GB。模型是否使用 GQA 要看具体架构。

长上下文和高并发会让 KV Cache 超过权重占用,这是端侧设备在长对话中变慢或卡死的常见原因。对策包括限制最大上下文长度、对 KV Cache 做量化、使用分页缓存,并限制同时处理的请求数。

四、端云协同:本地优先,云端兜底

端侧的优势是延迟低、可离线使用、数据不出设备。云端的优势是支持长上下文、复杂推理和高并发。两者适合搭配使用,把请求按规则分流。

下面是一个简化的路由示例。它使用 OpenAI 兼容协议,端侧和云端可以共用同一套 SDK 和评测脚本。

  1. import os
  2. from openai import OpenAI
  3. # 端侧:本地推理服务(OpenAI 兼容协议)
  4. local = OpenAI(base_url=os.getenv("LOCAL_LLM_URL"), api_key="local", timeout=30)
  5. # 云端:统一接入,更换模型时不需要改动调用代码
  6. cloud = OpenAI(base_url=os.getenv("CLOUD_LLM_URL"), api_key=os.getenv("CLOUD_LLM_KEY"), timeout=60)
  7. def route(prompt: str, force_cloud: bool = False):
  8. """按字符数粗判路由。生产环境应改用 token 计数,并增加重试策略。"""
  9. messages = [{"role": "user", "content": prompt}]
  10. if not force_cloud and len(prompt) <= 6000:
  11. try:
  12. return local.chat.completions.create(model=os.getenv("LOCAL_MODEL"), messages=messages)
  13. except Exception:
  14. pass # 本地推理失败时降级到云端
  15. return cloud.chat.completions.create(model=os.getenv("CLOUD_MODEL"), messages=messages)

这个示例只按字符数判断路由,实际系统还需要处理 token 计量、超时、重试和降级。API 密钥应从环境变量或密钥管理服务读取,不要写进代码。

选择云端模型时,可以在同一批测试集上比较能力、单次调用价格和响应延迟。再结合真实调用量,计算端侧一次性硬件投入与云端按量费用之间的平衡点。这个平衡点必须基于实测数据测算。

五、部署时常见的四类问题

  1. 算子与框架适配。 非 CUDA 生态的设备,需要先确认目标框架、推理引擎、驱动版本和模型算子的兼容情况。建议建立版本矩阵检查表,逐项记录硬件型号、驱动版本、推理引擎版本、框架版本和算子支持情况。新结构中的算子,例如部分 MoE 或 GQA 变体,可能不被支持,需要降级或替换实现。

  2. 模型格式转换。 PyTorch 转设备专用格式的链路要提前验证。转换后,用同一批输入对比输出 logits 的误差,或对比任务指标的差值。验收标准由团队事先定义,例如任务指标差值不超过约定阈值。这样可以避免模型“能跑但答不对”。

  3. 量化工具链。 优先使用官方或社区验证过的量化方案。如果需要自行做训练后量化(PTQ),应准备 128 到 512 条有代表性的校准语料,并覆盖真实业务的输入分布。

  4. 并发与内存峰值。 端侧常有多个应用同时运行。应设置显存和内存上限,并使用请求队列。否则一个长文档摘要任务可能拖慢整机响应。

六、适用场景

  • 智能办公终端。 会议纪要、文档摘要和邮件润色可以在本地完成,敏感内容不离开设备。
  • 教育与个人助理。 离线答疑和错题讲解在弱网环境下仍可使用。
  • 医疗与司法。 病历、卷宗等隐私数据可先在本地完成脱敏和初筛,再决定是否调用云端做深度分析。上传前须符合所在机构的合规要求。
  • 工业与安防终端。 视觉模型在端侧完成实时质检和巡检识别,云端负责汇总数据和模型迭代。

七、选型步骤

建议按下面的顺序做选型。

第一步,在目标设备上部署一个 3B 级 INT8 模型,作为基线。

第二步,用真实业务语料测量三项指标:首 token 延迟、解码速度、长上下文下的稳定性。

第三步,根据测量结果决定是否需要 7B 级模型。如果 7B 模型的内存占用或速度不满足要求,就保留 3B 模型,并把复杂任务交给云端。

第四步,比较候选云端模型在同一测试集上的能力、价格和延迟,再结合真实调用量测算成本。

按这个流程做,选型依据来自实测数据和成本计算,而不是只看参数表。

发表评论

活动