计算机视觉新时代，硬件性能极限考验如何破？ 计算机, 极限, 如何, 硬件

我是MT

计算机视觉更进一步接近人类视觉

新的计算机视觉时代降临，促使增强现实和全息成像等先进技术从台式电脑环境步入移动和嵌入式平台，同时也使得包括CPU和GPU在内的现有硬件面临性能极限的考验。

随着开发人员在智能手机、平板电脑、可穿戴产品、监控装置和联网汽车中不断增加新的多媒体功能，在当下的设计中，CPU和GPU是处理密集型图像算法的主要承载平台。然而，在实现一些诸如双摄相头、低光照拍摄和快速自动对焦等创新功能时，OEM厂商和开发人员也不得不作出一些妥协。

这种趋势挑战了，甚至超越了并非设计用于处理密集型图像算法的CPU和GPU的极限，其中一个影响就是使得产品的功耗过高，并最终缩短了电池续航时间。实际上，嵌入式CPU和GPU也都必需具有极低的功耗，并针对其主要任务高度优化。这个设计难题的最终解决方案，就是一个具有通用性构架并专门为无缝处理图像和智能视觉功能而专门设计的处理器IP。

新相机时代

有两个用例可展示消费电子产品中相机数目和图像处理量是如何快速增加的，第一个例子是据悉至少具有6个摄像头的 微软HoloLens 增强现实头盔。

第二个例子是增加了CMOS传感器数量来实现更精巧相机功能的华为荣耀 6+ 智能手机。这款手机在其正面有一个8百万像素摄像头，而在其背面则使用两个8百万像素摄像头以实现双摄功能。



图1: 增加相机数目构成专用视觉处理器的案例

视觉处理器剖析


来自 CEVA Inc.的全新图像处理器就是这样的一种平台，用于在system-on-chip芯片(SoC)设计中，为CPU和GPU分担处理密集型的图像增强、计算图像学和计算机视觉算法。CEVA-XM4可以实现类似人的视觉感知能力，用于智能手机、平板电脑、汽车安全和信息娱乐、机器人、安防监控、增强现实和无人机等广泛的图像应用。


图2: CEVA-XM4面向多个目标市场

CEVA-XM4是CEVA公司的第四代图像和视觉处理器IP，继承了CEVA与十多家CEVA-MM3101授权厂商和合作伙伴共同工作所累积的专业知识与经验。同时，CEVA-XM4是一个全新设计的完全可编程处理器，以期满足最严苛的图像处理和计算机视觉应用的需求。CEVA将一个具有定点和浮点处理能力的可编程大位宽矢量处理架构、多个对称标量单元，以及一个专门为视觉处理设计的低功耗指令集集成进XM4，达到比前代CEVA-MM3101多达8倍的性能提升和2.5倍的功耗改进。


视觉处理器vs移动GPU

与包括业界领先的移动GPU在内的各种竞争解决方案相比，XM4智能视觉处理器在单位功耗（每mW）性能和单位芯片面积（每mm2 ）性能两个方面都有突出的表现。与市场上一个公认的最为先进的移动GPU比较，在目标物体检测与跟踪应用中，CEVA-XM4内核完成相同任务的功耗只是竞争解决方案的大约10%，而芯片面积大约只需5%。而且，与移动GPU(如下图2所示) 比较多钟特定算法，显示 XM4和移动GPU之间存在20倍的巨大功耗效率优势。


图3：CEVA-XM4 与移动GPU功耗效率对比——越高越好

CEVA-XM4图像IP广泛适用于三个视觉领域：图像采集、图像处理和视觉感知。图像采集包括3D视觉、图像降噪和深度图生成等功能。图像处理则与计算图像学功能相关，例如图像稳定、低光照图像增强、图像缩放、多帧和多传感器超分辩率合成。最后，视觉感知能够执行目标物体识别与追踪、视频分析、增强现实和用于自然用户界面（NUI）的人脸、手势和情绪识别等功能。


图4: CEVA-XM4支持的视觉领域

CNN时代的XM4

XM4视觉处理器支持的算法包括实时3D深度图生成、用于3D扫描的点云处理以及目标与图像识别，范围包括Haar、LBP和ORB，直至卷积神经网络(CNN, DNN)等神经网络技术的深度学习算法。此外，XM4对计算图像学算法的支持包括重对焦、背景替换、图像缩放、图像稳定、HDR、图像降噪和低光照图像增强功能。