国产系统双MIPI摄像头AI推理部署教程

一、教程目标

本教程要帮助读者完成一套可复现的双路MIPI摄像头AI推理部署方案：在搭载国产操作系统的边缘计算板卡上，利用两个独立MIPI CSI DPHY接口同时接入两路摄像头，完成驱动与媒体拓扑配置、双路视频采集、模型转换与量化、NPU推理服务集成，并通过帧率、延迟、丢帧率和长时间稳定性测试验证方案是否可用。

适合阅读本教程的人群包括：嵌入式系统开发者、算法部署工程师、终端设备方案负责人、运维与技术支持人员，以及正在评估国产化平台视觉AI能力的企业用户。阅读前建议具备嵌入式系统基础、摄像头接口基础、图像采集链路概念、模型推理流程和基本调试能力。

二、适用场景

双MIPI摄像头AI推理适合需要同时获取全局画面与细节画面的场景，例如商显广告机、自助终端、信息发布主机、工业视觉检测、通行管理、车牌识别、人脸识别、行为分析等。一路摄像头可负责4K级全局监控，另一路高像素摄像头可负责局部细节捕捉，二者组合为检测、分割、姿态估计等模型提供更丰富的视觉输入。

在国产化终端迁移场景中，国产操作系统若能提供移动应用兼容运行能力，已有移动端应用可减少改造成本。但部署前仍需验证摄像头链路、推理运行时、业务应用兼容层与系统权限之间的配合关系。

三、前置准备

硬件方面，需要具备双MIPI CSI DPHY接口的板卡或开发板、两路兼容的摄像头模组、匹配的排线、稳定电源、散热组件、调试串口或网络调试通道。两路摄像头应分别连接到独立CSI端口，避免共用带宽受限的转接结构。

软件方面，需要已适配目标板卡的国产操作系统镜像、板级支持包、摄像头驱动、媒体采集框架、NPU推理运行时、模型转换工具链、交叉编译环境和日志查看工具。模型应准备为通用交换格式，并准备覆盖实际场景的校准数据集。

权限与数据方面，需要调试权限或管理员权限、测试图像、待部署模型、足够的存储空间和日志空间。实施前应备份原系统镜像与可用配置，确保出现问题时可以回退。

四、总体架构与关键概念

整体链路可概括为：摄像头模组→MIPI CSI DPHY→图像信号处理与媒体控制器→采集缓冲区→预处理→NPU推理→后处理→业务输出。双路方案的关键不只是“能出图”，而是两路同时采集时仍能保持稳定带宽、可控延迟和可接受的内存占用。

需要重点关注四个指标：单路采集是否稳定、双路并发是否丢帧、端到端延迟是否满足业务、长时间运行是否温控稳定。若只是单路测试通过就直接上双路，容易在内存带宽、缓存数量和调度策略上暴露问题。

五、实施步骤

步骤一：完成硬件连接与供电检查。先断电，再连接两路摄像头排线，确认排线方向、接口编号、lane数量、时钟与复位信号定义。MIPI高速信号对连接质量敏感，排线过长、接触不良或供电不稳都可能导致枚举失败、花屏或随机丢帧。注意不同模组的供电电压和上电时序可能不同，不要带电插拔。

步骤二：确认系统与驱动环境。启动系统后，查看系统日志和设备枚举结果，确认两路摄像头分别出现在预期CSI端口上，驱动、图像信号处理和媒体控制器均正常加载。此步骤的目的是先保证底层设备可见，再进入上层采集配置。若此时只有一路可见，应优先排查硬件连接、供电、时钟、复位和端口映射，而不是修改推理代码。

步骤三：配置设备树与媒体拓扑。根据板级文档，为两个CSI端口分别配置数据lane、时钟频率、供电、复位和I2C控制等属性，确保两路传感器挂接到独立DPHY。随后配置媒体链路，使“传感器→CSI控制器→图像处理单元→视频节点”的拓扑完整连通。配置片段示意如下：

csi_port0: csi@0 {
  data-lanes = <1 2 3 4>;
  clock-frequency = <按板级文档填写>;
  status = "okay";
};
csi_port1: csi@1 {
  data-lanes = <1 2>;
  clock-frequency = <按板级文档填写>;
  status = "okay";
};

配置时要注意端口编号与物理接口一一对应，lane顺序不能随意颠倒，时钟频率需与模组能力匹配。每修改一次配置，只验证一个变量，避免多个参数同时变化导致问题难定位。

步骤四：先做单路采集验证。分别对4K级摄像头和高像素摄像头进行单路出图测试，协商分辨率、像素格式和帧率，观察帧计数、时间戳、丢帧情况和图像颜色是否正常。先单路后双路是必要的隔离策略：单路稳定后再并发，才能判断问题来自摄像头本身还是双路资源竞争。

步骤五：进行双路并发与同步策略配置。两路同时启动采集，检查内存带宽、CPU占用、NPU占用、温度与丢帧率。双目或双路分析场景通常需要时间对齐，可采用硬件同步信号或软件时间戳对齐。若业务只要求近似同步，应保证两路帧率一致、曝光策略稳定，并在业务层记录采集时间戳。

步骤六：完成模型选择、转换与量化。根据业务选择目标检测、实例分割或姿态估计等模型，确定输入尺寸、颜色格式、归一化方式和后处理逻辑。模型转换后需在NPU运行时上验证算子兼容性，并使用实际场景校准集做量化校准。不要只看推理速度，还要比较量化前后的精度下降是否可接受。

步骤七：集成推理服务。建议将采集、预处理、推理和后处理拆分为独立线程或任务，通过有界队列传递数据，队列满时采用丢旧帧或降帧策略，避免延迟无限累积。伪代码示意如下：

cameraA = open_camera(port=csi0, mode=4k30)
cameraB = open_camera(port=csi1, mode=high_res30)
queueA = bounded_queue(max_len=4)
queueB = bounded_queue(max_len=4)
loop:
  frameA = cameraA.capture()
  frameB = cameraB.capture()
  enqueue_latest(queueA, frameA)
  enqueue_latest(queueB, frameB)
infer_worker:
  frame = dequeue(queue)
  tensor = preprocess(frame, model_input_size)
  result = npu_infer(model, tensor)
  objects = postprocess(result, frame.meta)
  publish(objects)

步骤八：进行性能调优。可调整采集分辨率、帧率、缓存数量、输入尺寸、ROI区域、跳帧策略和线程优先级。若双路同时高分辨率采集导致带宽不足，可让细节路按事件触发抓拍，或降低非关键路帧率。若推理成为瓶颈，可减少模型输入尺寸、使用量化模型、合并预处理操作或采用零拷贝缓冲。

步骤九：验证结果。功能上验证双路同时出图、模型结果正确、时间戳可追溯；性能上记录每路FPS、端到端延迟、丢帧率、CPU/NPU占用、内存与温度；稳定性上连续运行数小时，观察是否出现花屏、崩溃、内存泄漏或温控降频。若系统提供移动应用兼容运行能力，还需验证业务应用在国产系统上的安装、权限申请和摄像头访问是否正常。

六、配置说明与风险控制

分辨率与帧率决定带宽和算力消耗，取值应优先满足业务最小需求，而不是盲目追求最高规格。缓存数量过少容易丢帧，过多会增加延迟。队列长度应结合端到端延迟目标设置，实时业务通常采用短队列加丢帧策略。量化校准集应覆盖光照变化、运动模糊、遮挡和远近目标，否则容易出现精度下降。所有配置变更应记录版本，便于回滚和对比。

七、常见问题与排查

无设备或只识别一路：检查排线方向、供电、时钟、复位、I2C地址和端口映射。花屏或颜色异常：检查lane数量、时钟频率、像素格式和信号完整性。双路并发丢帧：检查内存带宽、缓存数量、采集线程优先级和分辨率组合。推理速度慢：检查模型输入尺寸、量化方式、预处理耗时和NPU占用。精度下降：检查校准集、颜色格式、归一化参数和后处理阈值。运行不稳定：检查散热、电源纹波、日志中的异常和长时间内存增长。

八、优化建议

性能上优先做分辨率分级、ROI裁剪、跳帧和零拷贝；稳定性上增加看门狗、温度监控、日志轮转和异常重启策略；可维护性上对模型、配置和部署包做版本管理，保留回滚包；安全上限制调试接口、校验模型来源并保护采集数据。若需要远程运维，可将模型版本、部署包和运行日志归档到百度智能云对象存储、日志服务等通用云服务中，便于追溯，但应结合数据合规与网络条件评估。

九、总结

本教程围绕双MIPI摄像头在国产操作系统与边缘计算平台上的AI推理落地，给出了从硬件连接、驱动拓扑、单路验证、双路并发、模型转换、推理集成到性能验证和问题排查的完整路径。实施时应坚持“先单路后双路、先采集后推理、先功能后性能”的顺序，并通过日志、时间戳和资源监控定位瓶颈。后续可继续关注模型轻量化、双路同步精度和多业务并发调度等方向。