技术文档丨Apollo3.5 感知模块

在 Apollo 中感知模块有以下几个职能：探测目标（是否有障碍物）、对目标分类（障碍物是什么）、语义分割 (在整帧画面中将障碍物分类渲染)、目标追踪 (障碍物追踪)。

感知模块可以从小感知和大感知两个维度进行划分。小感知主要是完成感知任务需要具备的功能模块，包括检测、分割、识别、跟踪、融合等技术。大感知是指感知要真正的为无人车系统服务，需要考虑上下游，例如标定，定位，障碍物行为预测等，也是当前的一种研发趋势。

 

  以下，ENJOY  

 

感知

 

感知模块已全新升级，可以处理全新传感器套件的综合性融合，并且与新的基于场景的规化模块保持同步。

 

简介

 

Apollo 感知模块具有以下新的特性：

•    支持VLS-128线激光雷达

•    使用多摄像头方法检测障碍物

•    更加先进的交通灯监测模块

•    可配置的传感器融合方法

 

感知模块综合使用5个摄像头 (2个前置、2个侧面和1个后置)，2台毫米波雷达 (车头和车尾) 以及3个16线激光雷达 (2个在车尾和1车头) 和1个128 线激光雷达来识别障碍物，并融合各个传感器的信息产生最终跟踪列表。

 

障碍物检测子模块对障碍物进行检测、分类和跟踪。同时预测障碍物的运动和位置信息(例如：方向和速度)。对于车道线, 通过后期处理车道解析像素，结合计算得到的与参考车辆(如L0, L1, R0, R1)的相对位置信息，可以构造出车道。

 

体系结构

 

感知模块的基本结构如下所示：

 

感知模块的基本结构图

 

详细的感知模块工作流程如下所示。

 

感知模块的工作流程图

 

输入

 

感知模块的输入包括以下几个部分:

 

128线激光雷达数据（cyber channel/apollo/sensor

/velodyne128) 

 16线激光雷达数据（cyber channel/apollo/sensor

/lidar_front,lidar_rear_left,

lidar_rear_right)

毫米波雷达数据（cyber channel/apollo/sensor

/radar_front,radar_rear)

 图像数据（cyber channel/apollo/sensor

/camera/front_6mm,front_12mm)

 标定好的雷达传感器外参 (以YAML 文件格式提供)

 标定好的前置摄像头的外参和内参(以YAML 文件格式提供)

车辆的速度和角速度 （cyber channel/apollo/

localization/pose)

 

输出

 

感知模块的输出如下所示：

带有方向、速度和分类信息的3D障碍物轨迹（cyber channel/apollo/

perception/obstacles)

交通灯检测和识别子模块的输出（cyber channel/apollo/

perception/traffic_light)

 

设置指令

 

在配置文件modules/perception/conf/

perception_lowcost.conf中进行通用设置。

运行命令：./scripts/bootstrap.sh 来启动web图形界面。

在图形用户界面中选择汽车模型。

使用以下命令启动感知模块：./scripts/perception

_lowcost_vis.sh start  或者在图形用户界面的Module Controller视图页面点击 perception 按钮。停止感知模块的命令如下：./scripts/perception

_lowcost_vis.sh stop注意：请不要试图通过图形用户界面启动感知模块而使用脚本命令停止该模块，反之亦然。

从Apollo开放数据平台（Open Data Platform.）下载demo 数据。

 

注意：

 

如果你被重定向到百度云的登陆页面，请完成登陆之后重复上述第5步(点击开放数据平台链接)

 

注意事项

 

1. 为了运行基于Caffe的感知模块，需要Nvidia GPU 和CUDA环境。Apollo 在发布的Docker 镜像中提供了CUDA 和Caffe 库。但是，在Docker 镜像中没有安装Nvidia GPU的驱动程序。

2. 为了运行基于CUDA加速的感知模块，请务必在Docker 镜像中安装与主机电脑同样版本的Nvidia驱动，然后使用GPU选项编译Apollo（例如, 使用./apollo.sh build_gpu 或者./apollo.sh build_opt_gpu命令）。

   请参考 How to Run Perception Module on Your Local Computer。

3. 该模块包含一个以二进制文件格式发行的修改后的Caffe深度学习框架。Caffe的版权说明如下：

 

1 COPYRIGHT
 2
 3All contributions by the University of California:
 4Copyright (c) 2014-2017 The Regents of the University of California (Regents)
 5All rights reserved.
 6
 7All other contributions:
 8Copyright (c) 2014-2017, the respective contributors
 9All rights reserved.
10
11Caffe uses a shared copyright model: each contributor holds copyright over their contributions to Caffe. The project versioning records all such contribution and copyright details. If a contributor wants to further mark their specific copyright on a particular contribution, they should indicate their copyright solely in the commit message of the change when it is committed.
12
13LICENSE
14
15Redistribution and use in source and binary forms, with or without modification, are permitted provided that the following conditions are met:
16
17    1. Redistributions of source code must retain the above copyright notice, this list of conditions and the following disclaimer.
18    2. Redistributions in binary form must reproduce the above copyright notice, this list of conditions and the following disclaimer in the documentation and/or other materials provided with the distribution.
19
20    THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE
21DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT OWNER OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES
22(INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
23(INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
24
25    CONTRIBUTION AGREEMENT
26
27    By contributing to the BVLC/caffe repository through pull-request, comment, or otherwise, the contributor releases their content to the license and copyright terms herein.