logo

国产化硬件适配能力再升级,百度天工AIoT智能边缘助力提升边缘AI算力可控能力

作者:智能物联网AIoT小助手2022.05.06 14:26浏览量:2395

简介:百度天工AIoT智能边缘助力提升边缘AI算力可控能力

伴随AI+IoT技术的发展,其应用场景在不断细化,对AI芯片及硬件产品的个性化需求也在增加,这让众多边缘硬件厂商看到了新的机遇。一时间涌现众多边缘硬件厂商,进一步衍生出种类繁多的AI芯片及硬件产品线,与此同时丰富的硬件满足了用户的多样化需求,但也给硬件适配增加了难度。

面对多元化的芯片和硬件市场,百度天工AIoT智能边缘(下文简称“天工智能边缘”)在硬件适配上持续发力,通过对天工智能边缘的不断迭代,进一步扩大其对边缘AI硬件的适配范围,实现多种边缘AI算力的监控和调度。

此次迭代给正在使用天工智能边缘的用户带来了更多选择,尤其是针对国产化的边缘盒子,增加了可供选择的边缘硬件范围。同时在边缘AI场景的使用中,通过直接监控和调度边缘算力使用情况,方便用户更好的安排边缘硬件资源的使用。

升级亮点:

扩大对硬件的适配范围:此次升级,天工智能边缘完成了与国产化边缘硬件的适配,包含寒武纪MLU270、华为昇腾310、比特大陆SE5/SC5、百度昆仑AI处理器,进一步扩大了天工智能边缘对边缘AI硬件的适配范围。
实现多种边缘AI算力的监控和调度:升级之后,用户可以在云端直接查看寒武纪MLU270、华为昇腾310、比特大陆SE5/SC5、百度昆仑AI处理器边缘加速卡的状态信息与资源使用。并且云端提供加速卡的device-plugin安装,用户在安装后可在云端直接调度算力资源。

天工智能边缘2.0持续迭代,助力边缘硬件灵活配置

边缘硬件市场的发展正如火如荼地进行着,然而与之矛盾的是边缘计算目前尚没有一套成熟的技术体系,其中边缘设备异构严重,缺乏统一的标准和规范。升级后的天工智能边缘秉持着开放性强,可兼容性强的原则,支持节点容器化、模块化配置模式,允许用户自定义功能模块镜像以打造独有的边缘计算,支持边缘硬件灵活配置。

作为最近几年发展势头正盛的技术之一,容器技术以docker和k3s/k8s为底座,可以在具有主流架构(arm/amd)和标准linux操作系统的硬件上安装。它很好的解决了边缘设备异构的问题。相比物理机和虚拟机,容器技术非常轻量级,并且具有部署简单、支持多环境、启动时间更短、易扩容、易迁移等特点。

当前已经适配的国产智能边缘硬件包括但不限于:
• 寒武纪思元220边缘服务器(CONTEC CONPRO-i6040)
• 华为Atlas 800推理服务器(型号:3010)
• 比特大陆SE5
• 大疆无人机妙算2
• EdgeBoard边缘AI计算盒(FZ5)
• 华为Atlas
o 华为Atlas 800推理服务器(型号:3000)
o 华为Atlas 200

针对非标linux系统,如华为Atlas 200DK,或硬件较弱的边缘盒子,节点也可通过进程模式的方式运行,更适合物联网场景。

天工智能边缘助力实现加速卡算力远程监控,提升加速卡资源分配效率

用户在使用国产化边缘硬件时通常会遇到两个问题,一是无法在云端直接看到边缘AI加速卡的硬件状态和使用情况,原本云端能监控到的边缘资源使用情况,仅限于内存,CPU,GPU等;另一个是多卡资源调度的问题,用户需远程登录边缘设备来进行应用的加速卡资源分配,操作便捷性有待提升。

迭代升级后的天工智能边缘将完美解决上述两个问题,实现加速卡算力云端监控并提升卡资源分配效率。目前天工智能边缘支持AI加速卡包含:NVIDIA GPU, NVIDIA Jetson系列,寒武纪MLU270、华为昇腾310、比特大陆SE5/SC5、百度昆仑AI处理器。

1.加速卡算力云端监控
当边缘盒子用于边缘推断时,算力的使用情况是用户最关心的内容之一。天工智能边缘针对上述提到的国产智能边缘硬件分别做了适配,支持用户在云端获取加速卡的硬件信息,如芯片个数等,并监控加速卡的硬件状态和算力使用情况,如板卡状态,温度,能耗,内存使用率,算力使用率等。

以atlas300为例子,来详细介绍天工智能边缘如何纳管atlas300,并实现atlas 300 的NPU资源监控。

更多操作可以参考产品官方文档中操作指南> AI加速卡章节。https://cloud.baidu.com/doc/BIE/s/jkxju6kh4

1.创建AI加速卡为华为昇腾310的边缘节点,如下图所示:

安装节点,节点安装好后会出现baetyl-accelerator-metrics的pod,由它负责采集atlas300的NPU资源使用率等信息。

2.进入节点详情,选择AI加速卡页面,可以查看加速卡监控信息与算力使用情况。

与端上资源使用做比较, 结果一致。

2.提升加速卡算力调度效率
除算力监控外,算力资源的调度管理也是使用过程中很重要的一环。天工智能边缘此次升级,集成了国产智能边缘硬件的device-plugin插件。安装插件后,用户可以在云端通过资源限制功能动态调度显卡资源。

以昇腾310为例,Ascend Device Plugin是华为基于Kubernetes设备插件机制,增加昇腾处理器的设备发现、设备分配、设备健康状态上报功能,使得Kubernetes可以管理昇腾处理器资源。此次升级将Ascend Device Plugin集成到天工智能边缘中。

首先在创建节点时选择AI加速卡为华为昇腾310,进入节点AI加速卡界面选择配置资源分配,安装资源分配应用。这一步会将指定加速卡的device-plugin安装到边缘侧。

应用安装完毕后,用户只需在创建容器应用时,选择相应的资源限制,即可指定容器所需要的芯片类型和个数。

天工智能边缘的此次迭代升级,提高了国产硬件的可适配性,也为国产边缘AI系硬件打开了新的可能,当然这只是天工智能边缘与国产化AI硬件适配融合的第一步。未来,天工智能边缘将持续扩大边缘硬件生态,加深与国产化硬件的合作,助力边缘市场蓬勃发展和人工智能行业多场景落地。

发表评论