(一)设计概述
随着集成电路的迅猛发展,多媒体设备越来越大众化、人性化。今天的多媒体,已不再是几年前多媒体的概念,而是汇集了最前沿的科技以及用户体验于一身。多媒体厂商也越来越注重用户的体验性、潮流性。小到智能手机,大到多功能智能电视,无不表现出这种趋势。而作为现在最为热门的3D影像,则是代表了未来多媒体的发展方向。三星、HTC等移动多媒体设备巨头无不纷纷瞄准了这一点,推出了具有强大竞争力的3D多媒体设备。
基于以上背景,本设计将开发一个基于Avnet Spartan-6 FPGA 工业视频处理套件的3D影像多媒体系统,该系统包括如下几个部分:视频解码器、2D视频转3D视频模块、双摄像头3D影像拍摄播放模块、视频缩放模块、手势识别控制模块、OSD(on screen display)控制模块,以力求构成一个具有2D转3D、能够进行3D录像并播放、能够通过手势控制和键盘控制双控制方式的并适用于多种分辨率的SOC系统。
(二)设计思路
考虑到软硬件结合的灵活强大功能特性,本作品将基于EDK嵌入式系统开发平台,以双MicroBlaze处理器为核心,实现软硬件的协同设计。其中,将计算量大、实时性要求强的功能模块交给硬件来实现,硬件配合软件,实现硬件加速。而将人机交互界面、静态图像播放等实时性不高的模块用CPU来完成。为了提高用户的体验效果以及完善系统功能,本作品将移植实时操作系统以及图形界面,以充分发挥软硬件各自的优势。另外,双cpu处理模式将进一步的增强处理速度,提高视频影像处理的实时性。使得实现更复杂的功能算法成为可能。
(三)适用范围
本系统可以应用于数字电视、手机、平板电脑、数码相框等消费电子产品中,实现2D图像(或视频)到3D图像(或视频)的转换,3D影像拍摄和播发功能。从而有效解决3D片源不足的问题,并为家庭或个人带来立体图像的视觉享受。而且,由于灵活的可裁剪性,本系统还可以作为多媒体系统的开发平台,开发功能更强、适用范围更广的多媒体产品。
(四)器件选择
根据本设计的功能要求,我们选择了Avnet Spartan-6 FPGA 工业视频处理套件,其板上的FPGA 是Spartan6 LX150T ,该FPGA具有两万多个Slice,以及内嵌众多的硬件乘法器等资源,完全满足我们系统的设计要求,而板上具有丰富的外围设备,其中包括了128M的DDR3,32M的flash,两个外扩摄像头等,非常适合用于搭建视频处理系统。因而选择该开发板是合适的。
整个系统的设计架构如图(1)所示。
图(1)系统实现框图
(一)各个功能模块的硬件实现框图
(a)2D转3D模块:其硬件系统结构如图(2)所示,其利用视频序列的的运动信息来估算出初始的深度图,并通过检测视频中的运动物体来对初始的深度图进行精化处理。接着,由双边滤波器完成对深度图的前处理。根据深度图,采用DIBR技术来产生左眼图像。同时,原视频序列的当前帧作为右眼图像。
图(2):2D 转3D模块的实现框图 (b)双摄像头3D视频产生模块:双摄像头通过Expansion Header1、2输入,并从两路输入中分别提取R分量和GB分量,经过处理后由HDMI接口输出,其硬件实现框图如图(3)所示。
图(3):双摄像头3D视频产生模块方框图
(c)视频解码器:该视频解码器采用的协议是H.264,为了给2D转3D模块提供视频源而设计的,其输入是压缩后的数据流,输出是解压后的视频流,其实现框图如图(4)所示。
图(4)视频解码器的实现框图
(d)视频缩放模块:视频缩放模块通过改变视频影像的分辨率,使系统适用于各种主流的消费电子平台。该缩放模块将采用双三次样条插值算法。其模块实现框图如图(5)所示。
图(5)视频缩放模块框图
(e)手势识别控制模块与普通OSD模块:对于用手势识别来控制多媒体系统,本设计将采用上下、左右、确认5种手势来实现菜单的左右选择、上下选择以及选择确认功能。具体的手势识别系统流程框图如图(6)所示。
图(6)手势识别系统框图
而为了增加实用性,设计中还利用开发板上的按键,作为普通OSD控制键盘。作为系统控制的辅助模块。
对于软件方面的设计,我们将移植操作系统,并加上图形化操作界面,其控制方式将运用图像界面控制方式实现用户与系统之间的交互。本作品中软件控制部分的流程图如图(7)所示:
图(7)软件流程图
- 本作品通过2D转3D技术,将2D影像转换为3D影像,并可在2D/3D影像和动态/静态影像之间进行切换,实用性非常强,具有广阔的应用前景。
- 本作品可通过图形用户界面,任意切换红蓝3D和普通2D视频播放模式,灵活方便。
- 本作品采用双CPU形式,处理功能更加强大,视频处理更为流畅。
- 本作品移植实时操作系统,可进行多任务处理,为系统的功能扩展和后续开发做准备
- 本作品不仅提供漂亮友好的图形用户界面,还同时具有手势控制操作和按键操作,供用户选择使用,增强了系统的可操作性,为用户带来更好的体验。
|