网站首页

2019年9月5日至6日，汽车2019智能车辆视觉会议在上海成功闭幕。微生出席了会议，展示了最新的智能驾驶产品。会议聚集了来自智能汽车视觉技术领域的专家和学者。微生高级技术总监唐亮先生代表微生就“智能驱动与环境视频监控系统技术的实施与应用”发表演讲。

(唐亮先生代表威尔逊发表主旨演讲)

唐亮先生作为微生电子高级技术总监，在人工智能、计算机视觉、图形加速、底层硬件驱动、操作系统开发等方面拥有丰富的经验，是国内该领域的技术领导者之一。这一次，唐亮先生深入分析了智能驾驶和环视视频监控系统的技术实现和应用，通过微生的改造介绍了技术主题，详细介绍了微生在环视监控系统和驾驶监控系统中的技术核心，非常专业地分析了自动驾驶技术中遇到的问题和最新解决方案。干货供应充足，观众从中受益匪浅。

(唐亮先生深入讲解自动驾驶的技术问题)

演讲全文如下:

大家好，我是威森电子的唐亮，很高兴与大家分享我的演讲。

微生成立于1987年，最初是一个X86芯片组市场。2000年，它收购了S3Graphics并拥有自己的GPU专利。2002年，微生嵌入式事业部成立，各大板块型号标准相继制定。2013年，微生嵌入式事业部成为中国的主要业务，提供行业解决方案。到2019年，专注于计算机视觉、人工智能、边缘计算技术并提供嵌入式智能系统。

随着技术的不断进步和感知精度的不断提高，自动驾驶所需的技术积累已经具备，自动驾驶已经成为人们关注的热点。计算机视觉和人工智能越来越多地应用于自动驾驶领域，甚至普通人都熟悉自动驾驶。

(演讲时显示的图片)

这份表格是由IIHS(美国公路安全保险协会)在今年6月进行的一项调查，调查内容是关于驾驶员对L2系统的理解。共有2005人参加了调查。可以看出，超过1/3的人认为不用手握方向盘是可以的，超过1/5的人认为打电话是可以的，1/10的人认为发短信不会有影响，3~5%的人认为小睡一会儿看视频是可以的。当然，这些操作对L2系统来说实际上是不合理的。IIHS的调查显示，目前人们不知道技术能做什么，这也是自动驾驶需要解决的一个重要问题。这表明公众对自动驾驶有着很高的信任度，这种高度的信任度将自动驾驶推向了一个必须尽最大努力落地的境地，这让人们觉得人工智能已经成为了人工能源。

回到我们的主题，这里我将介绍两个典型的应用，一个是扫描监控系统，另一个是司机监控系统。最后，我们将讨论在实际应用中遇到的问题和解决方案。

目前，许多新制造的客车已经将辅助驾驶变为标准配置，其可用于停车辅助、行人监控甚至车辆运行的远程监控。环视监控系统可以通过完全显示车辆周围的状况，然后消除驾驶员的盲区，从而提高驾驶安全性。

(查看系统架构图)

让我们先来看看环视系统的架构。首先，环视系统可以连接多达8个摄像机的输入。普通车辆只需要前、后、左、右摄像头就能获取车辆周围的所有内容。相机采用190度鱼眼广角镜头，尽可能覆盖周围环境。系统设置、分隔线校准和动态校准，然后通过几何变换将图像拼接并输出到显示设备。离线标定主要使用标定模式来计算摄像机之间的位置信息和鱼眼变换参数。动态校准可以根据实时图像的规则模式计算相机的细微变化。

(多摄像机视频同步)

要解决的问题不仅仅是几何变换。由于车辆的高速运动，摄像机之间的同步变得非常重要。必须统一控制多个摄像机的图像同步信息。以六个摄像机的同步为例(见上)，在系统触发摄像机单元的同步指令后，摄像机输出同步图像，同步并打包六帧图像，通过维森拼接算法生成最终图像。我们注意图中用红色圈出的直箭头。左边的是没有同步，导致两个箭头。正确的是正确同步后的拼接结果。

(查看视频制作过程)

现在我想介绍一下全景视频的制作过程。完成了离线标定，获得了几何变换、拼接和混合参数。首先进行视频捕获，然后进行反鱼眼校正，以获得正常比例的图像。接下来，将透视图转换为俯视图，将侧视图和仰视图合并生成场景图，拼接生成顶点和索引数据，映射到三维模型，最终得到我们看到的图像。

(2D图像映射到3D模型)

二维图像如何转化为三维模型？以前视摄像头为例(见上)。左边的第一幅图像是鱼眼透镜获得的图像。它分为上下两部分，一个黄色的盒子和一个绿色的盒子。黄色部分映射到侧面评估表面，绿色部分映射到接地层。通过随后的拼接，可以显示三维图像。

(查看系统流程图)

这是一个完整的环视系统的流程图(见上文)。在上述环视视频制作流程的基础上，我们增加了动态校准部分、亮度和颜色校正部分。如前所述，亮度和颜色的校正主要是由于车辆不同方向的照明不同，导致拼接图像混乱。我们可以在右上角看到两幅图像，左边没有校正，右边是亮度和颜色校正。第二张图片更真实。

在这个例子中，所有使用的算法都是基于几何、图形和数学，并且每一步都清晰明确。从软件的角度来看，不存在不确定性。如果有问题，很容易找到具体的步骤，你可以分析问题的原因并解决它。这也是这个问题的传统软件解决方案。

接下来，让我介绍一下司机监控系统。

驾驶员监控系统基于计算机视觉，通过摄像头获取驾驶员的图像信息，并根据驾驶员的面部形状分析驾驶员的行为，如视线方向、面部表情和姿势，如头、手和躯干的位置，如疲劳、打哈欠、闭眼、困倦或分心、聊天、打电话、发短信、喝水、吸烟等。，并根据行为对驾驶的影响程度发出安全提示信息。

驾驶员监控系统的工作原理是从图像输入中提取关键信息、人脸检测和分割、眼睛形状、身体部位和关键信息，然后提供给深度神经网络进行训练。神经网络对各种情况进行分类，以便识别正常驾驶和分心的情况。然后发出警报信息。

(开发和实施DMS的过程)

具体开发过程如上图所示。在Linux工作站上，对样本进行训练，得到训练后的模型。通过微生自己的深层神经网络优化器，我们得到了优化模型。利用模型工具，我们将优化后的模型转换成dlc文件，作为后续嵌入式平台进行实时计算的基础。

在嵌入式平台上，DMS应用通过微生DMSSDK加载神经网络模型，并通过CPU、GPU和DSP的协同工作获得计算结果。

(威尔逊有线电视新闻网优化器的效果)

下面，让我们介绍一下威尔逊有线电视新闻网优化器的情况。虽然智能芯片加速了神经网络的发展，但有限的计算能力永远跟不上需求的发展和变化。通过优化算法，可以提高计算速度，减少存储空间，即使在有限的计算能力下也能达到目标。从上图数据可以看出，在保持精度的前提下，通过不同的优化方法，存储空间可以减少30%，计算速度可以提高13~18%。

比较这两个典型的应用，我们可以看到，通过神经网络解决视觉问题基本上是基于训练。模型确定后，训练数据样本决定未来的输出结果。对于尚未接触的样本，输出结果不确定。

既然初始样本量是有限的，这个问题如何解决？

数据的问题通过数据来解决。

我们应该通过不断学习来解决数据不足的问题。整个数据引擎是一个连续的迭代过程。当我们在边缘端遇到不确定的情况时，我们通过网络将它们发送回服务器。在服务器标记它们之后，它将它们提供给训练过程，获得新的训练结果，然后将它们部署到车辆边缘测试。通过及时更新，问题暴露的可能性在时域上降低了，问题发生的速度也从另一个方面降低了。问题暴露10天和1年的危害完全不同。

另一个问题是视觉传感器本身的局限性。相机会受到外界环境、雨雪天气的干扰，光线条件会影响效果。

此时，有必要跳出原有的专业领域，引入更多的传感器来解决问题。此外，这种引入不能是简单的叠加，而深度融合是真正提高精度所必需的。

例如，如果视觉判断显示前方一切正常，毫米波雷达判断前方有障碍物，你如何选择？在信息判断的最后阶段，没有足够的信息可供选择。

环境条件对基于视觉的辅助驾驶有严重影响，通过使用不同的雷达、激光雷达、超声波或其他传感器，这种辅助驾驶会变得更加高效。

最后，我想介绍一下微生的硬件平台。目前，我们提供Mobile360系列硬件平台，包括D710、L900和M820。如果你感兴趣，你可以去场外展示区了解具体情况。

附件是微生展示区的图片:

(微生向与会者展示智能驾驶产品)

(参与者对微生产品非常感兴趣)

关于微生电子公司

微生电子是高度集成的嵌入式平台和解决方案的全球领导者，致力于人工智能、物联网、计算机视觉、无人驾驶、医疗自动化和智能城市应用。公司总部位于台湾新北市新店区，并通过威森的全球网络布局在美国、欧洲和亚洲的高科技核心区域设立了分公司。客户群涵盖世界领先的高科技、电信和电子消费品牌。

试读已经完成。如果您想阅读所有内容，请登录查看。

• 上一篇：梦见海上日出
• 下一篇：梦见地球