威盛亮相2019智能汽车视觉大会并发表主旨演讲(附演讲全文)

  • 时间:
  • 浏览:0
  • 来源:大发云系统-大发云官方

2019年9月5-6日,AutoCam 2019智能汽车视觉大会在上海圆满落幕。威盛亮相该大会并展出最新智驾产品,该大会云集了智能汽车视觉技术领域权威的专家和学者,威盛高级技术总监唐亮先生代表威盛发表《智能驾驶员与环景视频监测系统技术实作及应用》演讲。



(唐亮先生代表威盛发表主旨演讲)

唐亮先生作为威盛电子的高级技术总监,对于人工智能、计算机视觉、图形加速、底层硬件驱动、操作系统开发等前会 非常充裕的经验,因此是国内在该领域的技术带头人之一。此次唐亮先生深刻解析了智能驾驶员与环景视频监测系统技术实作及应用,以威盛的转型之路引入技术正题,详解了环视监控系统与驾驶员监测系统中威盛的多项技术内核,非常专业地分析了自动驾驶技术遇到的问提图片和最新防止法律法律依据,满满的干货让听众受益良多。



(唐亮先生淬硬层 讲解自动驾驶技术问提图片)

演讲全文如下:

亲戚亲戚某些人好,我是威盛电子唐亮,很高兴为亲戚亲戚某些人分享演讲。

威盛于1987年成立,最初是X86芯片组市场,在10000年时,收购S3 Graphics,拥有了自身GPU专利;10002年,威盛嵌入式事业部成立,陆续制定各大板型标准;2013年,威盛嵌入式事业部成为中国区主营业务,提供行业防止方案;到2019年,专注计算机视觉、人工智能、边缘计算技术,提供嵌入式智能系统。

随着技术的不断进步,感知精度的不断提高,自动驾驶需用的技术积累因此具备,自动驾驶也成为现在关注的热点。计算机视觉和人工智能被越多的应用在自动驾驶领域,连普通民众对于自动驾驶都耳熟能详。



(演讲时展示出的图片)

你什儿 表格是今年六月,IIHS(美国公路安全保险學會)对于司机理解L2系统都需用做些哪些操作而做的另另1个多多调查,一共有10005人参与了调查。都需用看出,1/3以上的人认为手不扶方向盘是都需用的,1/5以上的人认为打电话是没事的,1/10的人认为发短信是不影响的,3~5%的人认为睡一小觉,看看视频也是如此 问提图片的。当然,实际上对于L2系统,哪些操作前会 不合理的。IIHS的调查是为了说明,目前亲戚亲戚某些人对于技术能做到哪些是不了解的,这也是自动驾驶要防止的另另1个多多重要问提图片。这说明大众对于自动驾驶的信任程度是非常高的,而你什儿 高信任度则把自动驾驶推入了需用做到极致才能落地的境地,勉强落地你都需用感觉人工智能变成了人工呆能。

回到亲戚亲戚某些人话语题,这里我介绍另另1个多多典型的应用,另另1个多多是环视监控系统,另另1个多多是驾驶员监测系统,最后亲戚亲戚某些人再讨论一下在实际应用中碰到的问提图片,以及防止的思路。

现在新出厂的乘用车,越多越多越多越多都因此把辅助驾驶变成了标准配置,都需用做到停车辅助,行人监测,甚至都需用远程监控车辆运行。环视监测系统,都需用通过删改展示车辆周边的请况,进而清除司机的盲区,来增强驾驶安全。



(环视系统架构图)

亲戚亲戚某些人先看一下环视系统的架构,首先,环视系统都需用连接最多8个摄像头的输入,普通车辆只需用前、后、左、右三个白摄像头就都需用获得车辆周边的所有内容。摄像头采用190°的鱼眼广角镜头,都需用尽因此多的覆盖周边的环境。系统设置,分离线标定和动态标定,因此通过几何变换把图像拼接后输出到显示设备上。离线标定主只是我通过标定图案,来计算各个摄像头之间的位置信息以及鱼眼变换的参数。动态标定则都需用根据实时图像的规则图案,来计算摄像头的细微变化。



(多摄像头视频同步)

要防止的问提图片不单单是几何变换,因此车辆高速运动,摄像头之间的同步变得非常重要,几个摄像头的图像同步信息需用统一控制。以三个白摄像头同步为例(见上图),系统触发摄像头单元的同步指令后,摄像头输出同步后的图像,同步并打包六帧图像,通过威盛的拼接算法,生成最后的图像。亲戚亲戚某些人注意看上图中红色圈出的直行箭头,左面一副只是我如此 同步导致 出先 了另另1个多多箭头,右面则是正确同步后的拼接结果。



(环视视频制作流程)

现在我介绍一下环视视频制作流程,这里离线标定因此完成,因此获得了几何变换,拼接和混合的参数。首先是视频捕获,因此进行反鱼眼校正,得到正常比例的图像。接着把透视图转化为顶视图,并组合侧视图和底视图,生成场景图,进行拼接,生成顶点和索引数据,映射到三维模型上,最后获得亲戚亲戚某些人就看的图像。



(二维图像映射到三维模型)

二维图像是咋样变换到三维模型上的呢?以环视前摄像头为例(见上图),左面第一幅图像只是我鱼眼镜头获得的图像,把它分为上下另另1个多多部分,黄色的框和绿色的框,黄色部分被映射到侧评面,绿色部分被映射到地平面,通很久续的拼接,就都需用实现3维图像的显示了。



(环视系统流程图)

这是另另1个多多删改的环视系统的流程图(见上图),在底下的环视视频制作流程基础上,亲戚亲戚某些人增加了动态标定部分,亮度和颜色校正部分。动态标定很久因此提到过,亮度和颜色的矫正主只是我因此光照在车辆的不同方向是不一样的,只是我 导致 拼接出来的图像比较凌乱,亲戚亲戚某些人都需用就看右上角的两幅图,左面是如此 做校正的,右面是经过了亮度,颜色矫正的,第二幅图像的真实感更强。

在你什儿 例子里,用到的所有的算法,前会 有几何学、图形学、数学法律法律依据的,每一步前会 明确如此 二义性的。从软件的淬硬层 看不指在不选折 性的问提图片。因此出先 问提图片,很容易找到具体某另另1个多多步骤,都需用分融化问提图片的导致 ,并防止。这也是传统软件防止问提图片的法律法律依据。

接下来,我来介绍一下驾驶员监测系统。

驾驶员监测系统,是四种 基于计算机视觉的,通过摄像头获得驾驶员图像信息,并根据司机面部形态学 ,比如视线方向,脸部表情,根据体态,比如头,手以及躯干的位置来对驾驶员的行为做出分析,比如疲劳的请况,打哈欠,闭眼,瞌睡,因此是注意力分散的请况,聊天,打电话,发短信,喝水,抽烟等等,根据行为的对于驾驶的影响程度,发出安全提示信息。

驾驶员监测系统的工作原理,只是我把图像输入中的关键信息,面部检测和分割,眼部形态学 ,身体部位,关键信息抽取后,作为输入提供给淬硬层 神经网络来训练,神经网络对各种请况做出分类,只是我 就都需用识别出正常驾驶和注意力分散的请况。进而发出报警信息。



(开发和实现DMS的过程)

具体开发流程如上图所示,在Linux工作站上,亲戚亲戚某些人对样本进行训练,获得了培训过的模型,通过威盛买车人的淬硬层 神经网络优化器,获得优化后的模型,使用模型工具把优化后的模型转化为.dlc文件,作为后续嵌入式平台进行实时计算的基础。

在嵌入式平台上,DMS应用通过威盛DMS SDK来加载神经网络模型,通过CPU,GPU以及DSP的协同工作,获得计算结果。



(威盛CNN优化器的效果)

这里介绍一下威盛CNN优化器的请况,确实现在智能芯片对于神经网络都做了加速,但有限的算力永远跟不上需求的发展和变化,通过对算法的优化,都需用提升计算传输数率,减少存储空间,在有限的计算能力下才能达到目标。从上图的数据都需用就看,在保持精度的前提下,通过不同的优化法律法律依据,在存储空间上,都需用减少1000%,在计算传输数率上达到13~18%的提升。

对比这四种 典型的应用,亲戚亲戚某些人都需用就看,通过神经网络来防止视觉问提图片,根本上是靠训练来防止问提图片,模型选折 后,训练的数据样本决定了未来的输出结果。对如此 接触过的样本,输出结果是不选折 的。

既然初始样本数量必然是有限的,如此 你什儿 问提图片咋样来防止呢?

数据的问提图片,就用数据来防止

亲戚亲戚某些人要通过持续学习,来防止数据缺陷的问提图片。整个数据引擎是另另1个多多不断迭代的过程,当亲戚亲戚某些人在边缘端碰到不选折 的请况,通过网络回传给服务端,服务端进行标注后,提供给训练流程,得到新的训练结果,进而部署到车辆边缘测。通过及时的更新,在时间域减少问提图片暴露的因此性,也从只是我 方面降低了问提图片指在的比率。另另1个多多问提图片暴露10天和暴露1年的危害性是删改不同的。

另外另另1个多多问提图片只是我视觉传感器四种 的局限性,摄像头会受到外界环境的干扰,雨雪天气,光照请况,前会 影响效果。

这很久,需用出先 原有的擅长的领域,引入更多的传感器来防止问提图片。因此你什儿 引入如此 是简单的叠加,需用淬硬层 融合才能真正带来准确度的提升。

比如因此视觉判断,前面一切正常,毫米波雷达判断,前面有障碍物,你咋样去选折 ?在信息判断的最后阶段因此如此 足够的信息进行选折 。

环境条件对于基于视觉的辅助驾驶有着严重的影响,通过与不同的雷达,激光雷达,超声波或其它传感器协同工作,才能变得更高效。

最后介绍一下威盛的硬件平台,目前亲戚亲戚某些人提供Mobile31000系列硬件平台,有D710,L900, M820, 亲戚亲戚某些人有兴趣话语,都需用到场外展示区了解具体请况。

附威盛展示区图片:



(威盛向与会人员展示智驾产品)



(与会人员对威盛产品深感兴趣)

关于威盛电子

威盛电子是全球高集成嵌入式平台及防止方案领导厂商,致力于人工智能、物联网、计算机视觉、无人驾驶、医疗自动化及智慧人生城市方面应用。公司总部指在台湾新北市新店区,并通过威盛全球化网络布局,在美国、欧洲及亚洲的高科技核心区域设立了分支机构。客户群包含全球各大领先高科技、电信、电子消费品牌。