富士通车载360°全景3D成像系统解析
我们无意搞性别歧视，也并非是拿别人来开玩笑，但大部分情况下，女司机的确是这个星球上一种相当可怕的物种。也许由于天生的思维模式差别，而汽车又是男人发明的玩意儿，导致很多女司机驾车时的方向感和空间感都非常差，以至于时常惹出大大小小的祸端。相信很多人都知道前段时间发生在浙江奉化某小区内，女司机倒车入库撞死丈夫夹死自己的惨剧，驾驶的还是一辆雷克萨斯RX270。可见对于新手而言，无论高档车还是低档车，都是能随时伤人的利器。但如果这些车装备了360°全景3D视频成像系统，也许情况就不太一样了。
一个解决方案
对于新手司机而言，驾车痛苦的事情莫过于倒车。后视镜里的世界整个儿就是颠倒的，自己的空间感和方向感又还没同步进化，完全不适应。其实现在汽车的辅助技能越来越多了，工程师们绞尽脑汁，为了帮助手和脚难以配合协调到位以及嫌麻烦的人而发明了自动档，为了帮助一些空间感和方向感都比较差的人而发明了倒车雷达。但是对于一些油门和刹车都不太分得清楚的人而言，倒车雷达也起不了多大作用。那屏幕所显示的世界和人平时用眼睛接收的世界还是不一样。而且倒车雷达也存在视线死角—什么？看后视镜？看后视镜能解决问题那还能叫新手吗？
铁盒子里面的视线确实不好，人对看不到的东西都会有一种不安。但如果有那么一种设备，让你坐在车里也能一览汽车周围的情况，并且360°全方位无死角，这样会不会让你不安的感觉少一些呢？由富士通推出的360°全景3D视频成像系统也许能够帮得上忙。
这个系统是这样工作的：在车体四周布置数个摄像头，这些摄像头将汽车四周的场景全部记录下来，然后通过富士通开发的环绕视图（wrap-around view）技术将图像组合，在车内的屏幕上显示实时的360°全景3D图像，并且是一种鸟瞰的效果。让驾驶者从任何角度都能对汽车周围的情况明察秋毫。
富士通的工程师们把来自几个摄像机的视频图像无缝地结合在一起，并把图像投射到一个虚拟的三维曲面上。通过角度插值技术，这个三维投影图像能够在任意角度被观察，而且失真度很低。这种图像不同于传统的显示效果，当显示的内容从一个图像切换到另一个图像时，驾驶者的视线可以平稳过渡，显示屏中的本车模型也可以呈现出环绕式的图像。两者结合可以确保驾驶者不会迷失方向，并一眼就能发现他们要找的方向。它更容易让驾驶者通过仪表板、中控显示器或其他显示器的高清晰度图像发现汽车内部和周围的情况，尤其是障碍物。
此外，环绕视图结合本车模型，可以对车辆周围的障碍比例进行精确的测量。由于系统延迟很小，因此这个系统对驾驶安全来说无疑是一个福音。
倒车雷达是个好东西，但对于新手而言，也会时常不知所措。
富士通的360°环绕3D图像系统
当然，生成了3D全景图像是一回事儿，如何能让驾驶者更方便地接收信息则是另一回事儿。伴随汽车工业的发展，汽车电子应用也在不断发展，驾驶者在行驶中需要查看的信息越来越多。多数车载SoC系统都会将导航、倒车雷达等图像等显示在中控屏幕上，驾驶者前方的仪表盘也从传统的指针式进化到了LED液晶显示，能够反馈更多的车辆状态参数。一些车型还带有中央后视镜显示屏以及后座娱乐系统，这一套信息系统谓之HMI人机界面系统。
但是这样的系统存在两个问题：一是所有的屏幕各司其职，内容互不干涉，这就使得每个屏幕都需要一套独立的微控单元MCU和图像显示控制器GDC 。俗话说多个香炉多个鬼，元件太多了，系统开发难度、故障率和成本也就高了。另一个问题就是，驾驶者在行车过程中是不宜盯着中控的，更别说去看别的屏幕，但有一些特定信息又只能是某一个屏幕在显示，比如导航信息。因此，将传统仪表盘显示的信息与导航、多媒体等娱乐系统输出的视频内容进行整合，成为现在汽车工业新的需求和研发方向。
富士通HMI的细节
富士通在这一方面表现十分积极。去年富士通就推出了基于MB86R11/MB86R12的HMI系统，并为开发者提供了相应的CG IStudio开发组件。这套系统的过人之处在于除了支持实时显示360°全景3D图像外，仅通过一套车载图形SoC实现整车所有显示屏的综合控制、2D/3D图像无缝切换。也就是说，导航信息、车外影像、车内娱乐系统影像、仪表盘参数等可以在车内所有的显示屏上随意呈现，并且能根据屏幕分辨率和尺寸进行自动调整。
这套系统的核心部件MB86R11/MB86R12，是一套单系统LSI，基于Cortex-A9处理器并带有2D/3D独立绘图引擎的SoC。它内置四个视频输入端口可以同时处理四路视频图像，支持1280×720分辨率下的图像缩放、运动适应型隔行扫描/逐行扫描格式转换功能，生成噪声小清晰度好的图像。其中一个视频输入端口可处理1920×1080全高清的隔行扫描视频输入。
输入端强大了，输出端也不弱。MB86R11/MB86R12拥有三个显示输出控制器，其中两个可重复利用并各自输出两个显示屏，也就是说实际上能够同时输出5组图像。通过八级显示和层间混色功能，能使覆盖在背景地图上的图像融入到周围背景中。即使在不同的分辨率和颜色属性的条件下，抖动功能和伽马校正功能也可使图像拥有较高质量。内置可编程着色器能够精确渲染光线反射和阴影，使3D图像更加逼真，2D绘图功能无需CPU的参与即可进行动画显示。内置视频处理引擎可进行物体边缘增强、色彩校正和背光的调整，并可提高夜间拍摄视频的对比度，以获得更高品质的视频图像。另外，输出图像的背光亮度会根据来自车外摄像机视频流数据进行自动调整，从而降低系统功耗，同时以60fps的帧率显示车速、发动机转速等车辆信息。
富士通这套HMI系统，不仅对驾驶者而言很有帮助，广大开发人员也会喜闻乐见。其所搭配的CGIStudio能够让开发人员对多个显示屏内的场景和动画同时设计，并自动生成位图动画中的源代码，从而缩短开发周期。此外，这些影像在正式提供给MB86R11/MB86R12使用之前，可先在个人电脑上进行性能验证，于是又缩短了调试周期。
更安全的升级版
不管是否已经实现了360°全景3D实时图像的普及，但技术永远要先行一步。近，富士通又推出了MB86R11/MB86R12的升级版SoCMB86R24，集成了Cortex-A9双核处理器和PowerVRSGX543图形核心。富士通声称，相比上一代产品，MB86R24的CPU性能提升了两倍，而GPU性能则提高了5倍，因此MB86R24支持6路高清视频输入和3路高清视频输出，对大量的高清视频数据进行实时处理毫无压力。除了参数上的升级外，为了照顾一些反射弧比较长的新手，MB86R24重要的一项新技能就是加入了渐进物体检测功能。如果有人、车、狗，或者别的什么东西正在靠近你，该功能就会向驾驶者发出提醒。
富士通HMI硬件系统构成。MB86R11/MB86R12可对中控和仪表盘两个不同分辨率的显示屏进行控制，描绘并输出2D/3D数据。富士通HMI硬件系统构成。MB86R11/MB86R12可对中控和仪表盘两个不同分辨率的显示屏进行控制，描绘并输出2D/3D数据。
利用CGI Studio，可实现不同分辨率显示器输出的同步控制以及图像的无缝切换。
中控图像（3D）与仪表盘图像（2D）无缝切换示意图。利用MB86R11/MB86R12的独立2D/3D绘图功能，兼顾仪表盘的实时性和中控台的真实性进行影像合成。此外，还能“无视”图像的2D或3D属性，在多个显示器间进行无缝切换。
利用CGI Studio进行多显示器开发的实例
渐进物体检测功能示意，渐进物体的运动算法由富士通电子与富士通实验室联合开发。
传统的HMI系统和富士通的HMI系统对比。零部件数量和系统复杂程度大大降低，可靠性也得到了提高。开发人员借助CGI Studio工具，使用比以前更加少的工作量就可以完成高性能系统的一站式开发。
富士通推出的基于ARM架构的MB86R24双核处理器
写在后
现代社会，汽车越来越多，人们对汽车的要求也越来越高，安全、方便已满足不了现代人的需求，舒适、智能化才是今后汽车发展的更高要求。事实证明，在汽车技术的创新中，70%是来自于汽车电子。而汽车电子领域具吸引力且成长快的部分当属车载信息娱乐系统。音频、视频、导航和远程信息处理，包括后座影音娱乐系统、车载电视都将成为快速成长的市场。富士通这套HMI系统可以充分满足目前汽车娱乐信息系统由简单的车载音响向丰富多彩的多媒体娱乐转变的需求，同时360°环绕3D实时图像技术也会极大提升行车安全。可以预见，随着今后EV/HV环保汽车的普及，驾驶者需要通过HMI了解的参数更多，例如电池信息、电量、预计行驶距离等。而在这方面，相信随着技术的不断发展而变得更为方便。
MB86R24参数
ARM Cortex-A9533 MHz双核处理器，ARM Neon SIMD引擎。
Power VRSGX5433D引擎（6.4GFLOPS，1G像素/s , 35M多边形@200MHz，支持Open GLES，Open VG，OpenCL），支持双路1920×720p+单路1920×1080p视频输出。
视频捕捉能够支持6路1920×1080i输入
支持DDR3/3L 800/1066内存
支持CAN、Ethernet、MediaLB（媒体本地总线）网络。
