MTT AIBOOK 端侧大模型选型与部署指南
作者:沙与沫2026.11.17 03:25浏览量:0简介:端侧跑大模型,内存容量和带宽决定速度,TOPS 只是参考。本文讲清显存与解码速度的估算方法、混合精度与量化的做法、端云分工思路,并给出部署前的检查项和选型步骤,帮你少走弯路。
先说结论:MTT AIBOOK 标称 50 TOPS 异构 AI 算力,在内存足够、带宽合理、上下文不过长的前提下,能够本地运行经 INT8 或 INT4 量化的 1.5B 到 8B 参数模型。端侧速度主要受内存容量和内存带宽限制,而不是 TOPS 数字。下面按“算力、精度、显存、端云、部署、场景、选型”的顺序展开。
一、TOPS 不等于推理速度
据官方公开资料,MTT AIBOOK 采用摩尔线程自研 SoC“长江”,标称 50 TOPS 异构 AI 算力,支持 INT8、FP16、FP32 混合精度。具体规格请以官方规格书为准。读数字时有三点需要注意。
第一,TOPS 通常按 INT8 标称。换算到 FP16,等效峰值通常大致减半,换算到 FP32 更低。所以 50 TOPS 不能直接当作 FP16 下的性能。
第二,实际利用率远低于峰值。算子实现、访存效率和调度方式都会影响利用率。经验上,端侧推理的利用率常在 30%~60% 之间,但不同模型和负载差异很大,应以自己的实测结果为准。
第三,大语言模型的解码阶段受访存限制。逐 token 生成时,每输出一个 token 都要读一遍全部权重,因此单请求解码速度的理论上限可以这样估算:
单请求解码速度(token/s) ≈ 内存带宽(GB/s) ÷ 每 token 需读取的权重体积(GB)
举例来说,7B 模型经 INT4 量化后权重约 4 GB。若设备可用带宽为 100 GB/s,理论上限约为 25 token/s。实际速度会低于这个值。
想提升单路生成速度,应优先做三件事:使用量化、换更小的模型、提高内存带宽的有效利用率。提高 batch 并发可以增加设备的总吞吐,但每个请求的等待时间可能变长,两者不能混为一谈。
二、混合精度的分工
推理引擎通常按算子分配精度。常见做法如下。
| 精度 | 典型用途 | 原因 |
|---|---|---|
| INT8 | 线性层矩阵乘(GEMM) | 吞吐高,精度损失可控 |
| FP16 | 对精度敏感的层、注意力计算 | 兼顾速度与数值稳定 |
| FP32 | Softmax、LayerNorm、累加器 | 避免溢出和累积误差 |
实际部署时,建议直接使用成熟推理引擎提供的 INT8 或 INT4 权重量化加 FP16 激活方案,不需要手写混合精度策略。
量化之后必须做回归评测。评测集建议不少于 300 条,覆盖长文本理解、代码生成和 JSON 结构化输出三类任务。以未量化的 FP16 模型为基线,若任一任务指标下降超过 2 个百分点,就需要排查量化配置或校准数据。这个阈值是建议起点,团队可以根据业务容忍度调整。
三、先算显存,再看效果
权重占用可以用下面的公式估算:
权重体积 ≈ 参数量 × 每参数字节数(FP16 为 2,INT8 为 1,INT4 约为 0.5)
| 模型规模 | FP16 | INT8 | INT4 | 端侧可行性 |
|---|---|---|---|---|
| 1.5B | 约 3 GB | 约 1.5 GB | 约 0.9 GB | 容易常驻,适合唤醒词、分类 |
| 3B | 约 6 GB | 约 3 GB | 约 1.8 GB | 流畅,适合通用对话 |
| 7B/8B | 约 14~16 GB | 约 7~8 GB | 约 4 GB | 需要量化,是效果与速度的常见平衡点 |
| 13B/14B | 约 26~28 GB | 约 13~14 GB | 约 7 GB | 内存紧张,长上下文容易溢出 |
| 32B | 约 64 GB | 约 32 GB | 约 16 GB | 不建议在端侧部署 |
除了权重,还要计算 KV Cache:
KV 占用 ≈ 2 × 层数 × KV 头数 × head_dim × 序列长度 × 每元素字节数 × 并发数
以一个 32 层、32 个 KV 头、head_dim 为 128 的 7B 模型为例,使用 FP16、序列长度 4096 时,单个请求的 KV Cache 约为 2 GB。若模型使用分组查询注意力(GQA),KV 头数减少到 8,同样条件下约为 0.5 GB。模型是否使用 GQA 要看具体架构。
长上下文和高并发会让 KV Cache 超过权重占用,这是端侧设备在长对话中变慢或卡死的常见原因。对策包括限制最大上下文长度、对 KV Cache 做量化、使用分页缓存,并限制同时处理的请求数。
四、端云协同:本地优先,云端兜底
端侧的优势是延迟低、可离线使用、数据不出设备。云端的优势是支持长上下文、复杂推理和高并发。两者适合搭配使用,把请求按规则分流。
下面是一个简化的路由示例。它使用 OpenAI 兼容协议,端侧和云端可以共用同一套 SDK 和评测脚本。
import osfrom openai import OpenAI# 端侧:本地推理服务(OpenAI 兼容协议)local = OpenAI(base_url=os.getenv("LOCAL_LLM_URL"), api_key="local", timeout=30)# 云端:统一接入,更换模型时不需要改动调用代码cloud = OpenAI(base_url=os.getenv("CLOUD_LLM_URL"), api_key=os.getenv("CLOUD_LLM_KEY"), timeout=60)def route(prompt: str, force_cloud: bool = False):"""按字符数粗判路由。生产环境应改用 token 计数,并增加重试策略。"""messages = [{"role": "user", "content": prompt}]if not force_cloud and len(prompt) <= 6000:try:return local.chat.completions.create(model=os.getenv("LOCAL_MODEL"), messages=messages)except Exception:pass # 本地推理失败时降级到云端return cloud.chat.completions.create(model=os.getenv("CLOUD_MODEL"), messages=messages)
这个示例只按字符数判断路由,实际系统还需要处理 token 计量、超时、重试和降级。API 密钥应从环境变量或密钥管理服务读取,不要写进代码。
选择云端模型时,可以在同一批测试集上比较能力、单次调用价格和响应延迟。再结合真实调用量,计算端侧一次性硬件投入与云端按量费用之间的平衡点。这个平衡点必须基于实测数据测算。
五、部署时常见的四类问题
算子与框架适配。 非 CUDA 生态的设备,需要先确认目标框架、推理引擎、驱动版本和模型算子的兼容情况。建议建立版本矩阵检查表,逐项记录硬件型号、驱动版本、推理引擎版本、框架版本和算子支持情况。新结构中的算子,例如部分 MoE 或 GQA 变体,可能不被支持,需要降级或替换实现。
模型格式转换。 PyTorch 转设备专用格式的链路要提前验证。转换后,用同一批输入对比输出 logits 的误差,或对比任务指标的差值。验收标准由团队事先定义,例如任务指标差值不超过约定阈值。这样可以避免模型“能跑但答不对”。
量化工具链。 优先使用官方或社区验证过的量化方案。如果需要自行做训练后量化(PTQ),应准备 128 到 512 条有代表性的校准语料,并覆盖真实业务的输入分布。
并发与内存峰值。 端侧常有多个应用同时运行。应设置显存和内存上限,并使用请求队列。否则一个长文档摘要任务可能拖慢整机响应。
六、适用场景
- 智能办公终端。 会议纪要、文档摘要和邮件润色可以在本地完成,敏感内容不离开设备。
- 教育与个人助理。 离线答疑和错题讲解在弱网环境下仍可使用。
- 医疗与司法。 病历、卷宗等隐私数据可先在本地完成脱敏和初筛,再决定是否调用云端做深度分析。上传前须符合所在机构的合规要求。
- 工业与安防终端。 视觉模型在端侧完成实时质检和巡检识别,云端负责汇总数据和模型迭代。
七、选型步骤
建议按下面的顺序做选型。
第一步,在目标设备上部署一个 3B 级 INT8 模型,作为基线。
第二步,用真实业务语料测量三项指标:首 token 延迟、解码速度、长上下文下的稳定性。
第三步,根据测量结果决定是否需要 7B 级模型。如果 7B 模型的内存占用或速度不满足要求,就保留 3B 模型,并把复杂任务交给云端。
第四步,比较候选云端模型在同一测试集上的能力、价格和延迟,再结合真实调用量测算成本。
按这个流程做,选型依据来自实测数据和成本计算,而不是只看参数表。

登录后可评论,请前往 登录 或 注册