基于FPGA的视频叠加融合系统设计与实现 显示器, 技术

pengpengpang

摘 要： 针对两通道视频图像叠加融合，设计并实现了一种实时性好、灵活性强的FPGA硬件系统。该系统可以根据实际需求进行任意比例和任意位置的视频图像叠加融合。方案经仿真验证后，运用双线性插值缩放算法、DDR2存储以及叠加融合等技术在FPGA硬件平台上实现。结果表明，该系统能达到预期效果，叠加融合画面效果良好，能够满足工程应用的需求。
视频图像叠加融合技术可以将两路视频图像信号进行叠加融合并输出到一台显示器上进行显示。两路视频图像信号中，一路作为被叠加信号（即背景），另一路作为叠加信号（即前景），在背景视频图象中可以融入前景视频图象并在同一终端上显示。这项技术在电视系统、视频监控系统、广告娱乐、交通管理等领域有着广泛的应用。目前国内生产视频叠加器的有北京彩讯、上海大视等厂家，主要是采用视频矩阵、画面分割器实现，大多采用专用的视频叠加芯片设计而成，其灵活性较差，成本高[1-3]。
本设计在以FPGA为主控芯片的硬件平台上实现视频图像的缩放与叠加融合功能，可实现两路任意分辨率输入视频叠加，并能扩展成多路叠加，通过缩放算法对每一路进行放大或缩小，进而调整前景在背景中的比例；还可通过更改参数，调节前景在背景中的位置。该方案实时性好，处理速度快，灵活性较高。

视频图像叠加融合信号流程如图1所示。本设计中两路视频图像信源的分辨率可根据需求任意选定。其中一路为背景视频图像信号源，另外一路为前景视频图像信号源，分别将两路信号源通过双线性插值缩放算法进行处理，根据需要对前景和背景视频图像的大小进行适当的缩放，最后将两路视频信号进行叠加融合处理并输出[4-5]。
根据方案的信号流程图可知，两路信源信号为并行处理，适用采用FPGA进行实现[6]。
叠加效果图如图2所示。其中图2(a)为前景视频图像，原始分辨率为640×480；图2(b)为背景视频图像，原始分辨率是800×600。通过Matlab对设计方案进行仿真，背景缩放1 024×768，占满输出屏幕，前景缩放为320×240，并规定其在左上角叠加，如图2(c)所示。


视频叠加融合的硬件实现
视频叠加融合系统总体框图如图3所示，系统主要由DVI接口、编码模块、解码模块、DDR2存储模块和FPGA控制模块等几个主要部分组成，其中解码和编码分别采用Silicon Image和Chrontel公司的专用芯片实现。具体实现过程如下[7]：


(1)将输入的两路视频信号通过解码电路转码成VESA标准的数字视频信号，并将其送至FPGA内部。
(2)由于不同分辨率之间存在帧不同步，为了实现任意比例缩放，达到任意分辨率叠加融合的效果，需要将输入的数据进行外部存储以解决帧不同步的问题[8-9]。
(3)根据需要将前景视频图像和背景视频图像进行适当比例的放大和缩小，本系统采用双线性插值缩放算法进行任意比例缩放处理[10-11]。
(4)以高分辨率视频图像的像素时钟为触发时钟对两路缩放后图像进行叠加融合处理，并由FPGA产生VESA标准时序，驱动液晶显示器显示[12]。
(5)将叠加融合好的视频信号进行编码并通过DVI接口输出到显示终端上，获得视频图像叠加融合的效果[13]。
FPGA内部工作流程如图4所示。首先通过I2C总线对外围的编码、解码芯片进行配置；其次控制MCB(Memory Controller Block)，使DDR2正常进行数据存取；然后缩放核从DDR2中读取数据进行缩放；最后将两个缩放核输出的数据进行叠加融合并显示在终端上[14]。设计中最主要的延迟来自于DDR2缓存模块，需要预先将视频图像缓存为一帧，然后再进行后续处理。此模块引进了一帧的延迟(1/60 s)，其他模块的延迟极小，可以忽略不计，总体延迟大约几十毫秒，具有良好的实时性。


仿真与验证
本设计选用的主控芯片FPGA为Xilinx公司的Spartan 6系列，型号为XC6SLX100-2FGG767。在ISE13.4开发平台上运用VerilogHDL对各逻辑进行设计，解码芯片型号为SIL1161，编码芯片的型号为CH7301，存储器DDR2型号为MT47H32M16-25E，测试显示器采用的是AOC 173P。
经验证得本设计占用FPGA内部主要逻辑资源情况如表1所示，支持的像素时钟频率高达108 MHz，对应分辨率为1 280×1 024。图5为在设计过程中通过ISE自带仿真工具ISIM进行仿真得到的显示器的驱动时序和融合控制信号以及数据的仿真图。
图6为拍摄的实物效果图。图6(a)分辨率为1 024×768，是前景视频图像分辨率缩小到320×240、背景视频图像分辨率放大到1 024×768后在左上角进行叠加融合后的画面，结果与第二节中仿真结果完全相同；图6(b)分辨率为1 280×1 024，相对于图6(a)，叠加位置和大小比例均改变。通过效果图可知，本设计方案测试效果良好，虽然画面高频分量有所损失，但是在视觉可接受范围内，适合于工程应用。


本文主要介绍了基于FPGA的视频图像缩放与叠加融合技术的设计方案及实现，通过Matlab对设计方案进行理论仿真，并在FPGA上对该设计方案进行了实现。结果表明，该设计方案在缩放算法的辅助下，实现了两路视频图像任意分辨率、任意位置的叠加融合，显示效果良好。尽管由于双线性插值缩放算法处理导致边缘稍有模糊，但仍满足视觉需求，适合于工程应用。该设计为后续的高速视频信号处理(如大屏拼接、融合等)提供了必要的预处理装置。
作者：万 鹏，杨大伟, 来源：电子技术应用2013年第9期