近两年，在自动驾驶领域有哪些技术进展？
以百度Apollo的软件架构为例，自动驾驶系统核心需要解决几个问题： 就我自己比较了解的感知和预测理解发表一些看法。 一、感知 目前自动驾驶主流传感器主要包含相机，激光雷达，毫米波雷达以及超声波雷达，他们各有自己特点。 相机最接近人的视觉感知，对色彩信息等敏感，但是缺少三维空间信息，在L4自动驾驶中主要用于感知红绿灯等信息。相机二维检测的基本趋势是由原先的two-stage anchor-based朝one-stage anchor-free方向发展，要解决的主要是诸如小物体检测，长尾检测，速度提升等检测领域的经典问题。 但只知道物体在图像上的位置是不够的，所以一般还会利用平面或物体形状等几何假设，进一步投影变换计算出世界坐标，当然也有直接把该过程端到端做到网络里的。在该领域个人认为近年来进步不大，像特斯拉等基于神经网络的方法本质上还是数据为王的多任务学习和相机投影参数拟合，换一个相机配置大概率是要重新弄一波的。 也有研究是做双目深度估计的，相比于单目相机其深度信息有可数学推导的实际意义，但碍于baseline大小，深度信息也做不到太远。今年CVPR我们也有一篇相关研究，利用shape的先验知识来辅助做双目3D检测，在相关benchmark上取得了不错的结果，但说实话离落地有一定距离，感兴趣的可见论文： 激光雷达天然自带三维信息，是L4自动驾驶的主力传感器。从学术会议的趋势来看激光雷达检测相关的研究是近年的一个热点，缺点是传感器比较昂贵可视距离做不到太远。但个人认为随着商业的推动和技术发展，它会像固态硬盘一样便宜起来。 毫米波雷达对动态物体速度信息敏感，能精准地测量速度，缺点是误报比较多，而且由于相关厂商的高度垄断和封装化，该传感器很少能拿到原始数据，能做的事情不多，相关研究进展比较少。超声波雷达了解不多，主要用于泊车等场景，像法雷奥泊车产品等已经面世多年，近年相关研究和进展其实并不多，貌似多见于各大PR稿中。 二、融合 融合是一个挺宽泛的概念，本质是结合多个传感器的结果进行推理判断，最终给出全局唯一的结果。 感知融合可以粗分为两种类型：先对原始数据进行处理再统一出结果的前融合；和每个传感器单独出结果再对结果进行处理的后融合。这个同定位领域的紧耦合松耦合概念非常像，名字叫法不同而已。 当前自动驾驶领域应用最多的是后融合。基本工作原理是会维护一个全局的物体列表，每个传感器的结果到来后，会在物体列表中进行匹配并更新状态，如果没有物体能匹配上则创建新的全局物体并加入列表。 后融合优点十分明显，它对各个传感器的时间同步要求没那么严格，同时能对传感器有容错，某个传感器坏掉不至于系统立马瘫痪。缺点是精度相比于前融合会有损失，同时由于每个传感器的特点，融合策略的不同选择可能会带来意想不到的结果。比如毫米波雷达有很多误检，所以在很多融合策略中该传感器并不会创建全局物体而只负责更新，那在其它传感器也没工作的时候就会带来系统层面的误检（特别是一些不带激光雷达的系统）。 前融合应该算是一个研究发展趋势，随着传感器同步做得越来越好，相信更多的研究成果会出来，个人感觉多sensor的multi-modal detection会是感知融合后面的一个发展方向，因为就单纯从信息损失角度来说前融合的精度也是必然比后融合要好的。 三、预测 轨迹预测任务旨在根据交通参与者历史和环境信息，对该目标未来的意图或轨迹进行预测，是自动驾驶系统进行有效提前决策的重要信息之一。 交通参与者未来的意图或轨迹主要受几个因素影响：自身的内在意图，周围的动态环境比如其它行人车辆，静态环境比如道路信息等。相应的预测主要有几个研究方向和难点： 同样今年我们在CVPR20上也有两篇预测任务相关的研究。 第一篇主要研究动态物体间的交互建模。出发点是当前的很多建模方案例如pooling和attention，都是基于目标之间的欧式距离来判断交互关系的强弱，但我们认为这种基于欧氏距离的判断方法，不能很好的处理现实生活中复杂的情况。比如下图的三组行人，红色两组虽然距离较远，但是表现出了跟随的行为，而红蓝两组虽然距离较近，但是没有产生很强的相互作用。 针对该问题，我们提出了使用基于行人组层面的标注来解决，通过将有相似行为以及目的地的行人分为小组，并对组内行人进行关系标注，来对整个场景中的行人关系进行详尽的抽取。实验结果表明在ETH和UCY数据集上取得了超过10%的提升。当然该论文还是比较偏向于trajectory研究，在自动驾驶落地上有一定借鉴意义但作用不是非常大，感兴趣的可见论文：  另外一篇论文研究多模态建模以及道路结构的利用问题。我们提出了一种两阶段轨迹预测方法TPNet：在第一阶段，TPNet预测不同意图的多个终点并基于这些终点生成不同的候选轨迹；在第二阶段，TPNet会对这些候选轨迹进行分类和回归，其中分类模块对每个候选轨迹进行二分类，回归模块对候选轨迹进行修正得到更加精准的预测结果。 同时两阶段框架可以帮助我们将一些先验知识融入进深度学习框架，我们提出对不在可行驶区域的候选轨迹与预测结果进行惩罚，衰减其置信度，从而保证预测结果的可靠性，值得一提的是该研究已经落地在了我们的自动驾驶系统里，更多可视化结果和论文详情可见： 四、总结 从软件算法层面来看，怎么更好地还原出物体空间位置并预测他们未来的意图或轨迹会是近两年以及未来的一个技术研究热点。从自动驾驶落地来看，自动驾驶会先以类似域控制器的形式落地到各大车厂的产品上，比如特斯拉的AutoPilot，小鹏的XPILOT，相信消费者会接触到越来越多带辅助驾驶功能的车辆产品。 