基于FPGA的系统通过合成两条视频流来提供3D视频 摄像机, 机器人, 发射器, 汽车, 文章

520503

关键字：时钟   视频解码   HDMI   3D视频   FPGA  



简介
视频系统，目前已经深入消费应用的各个方面，在汽车、机器人和工业领域日益普遍。其在非消费应用中的增长主要源于HDMI标准以及更快、更高效的DSP和FPGA的出现。

本文将概要讨论利用模拟或HDMI摄像机实现立体视觉（3D视频）的各种要求。文章将描述一个基于FPGA的系统，它将两个视频流结合成一个3D视频流，通过HDMI 1.4发射器进行传输，同时还要介绍一个基于DSP的系统，与通常需从两台摄像机接收数据相比，该系统可以节省DMA带宽。另外，本文还将描述一种方法，该方法可以实现一种并排格式，可供3D摄像机或要求3D视频的系统使用。

概述

立体视觉要求使用两台摄像机，二者相距大约5.5厘米，这是人类双眼之间的典型间距，如图1所示。



图1 支架上的两台摄像机（已针对立体视觉对齐）



图2所示高级功能框图使用了采用相同视频标准的两台同步摄像机、两个视频解码器和一个FPGA。为了确保完全一致的帧速率，摄像机必须行锁定到共同的参考时序。如果没有同步，不使用外部存储器，就不可能将输出组合起来并存储为完整的视频帧。





图2 高级功能框图




图3显示两个行锁定视频流被合并成一个立体图像。图4显示，如果不将整个视频帧保存在外部存储器中，则异步视频流无法合并。




图3 合并两个同步视频流



图4 如果不使用外部存储器，则无法合并异步视频流



然后，两台同步摄像机的输出由视频解码器（如 ADV7181D、ADV7182 或 ADV7186 用于模拟摄像机）进行数字化处；也可由 HDMI receivers （如 ADV7610或ADV7611 ，用于数字摄像机）进行数字化处理。

视频解码器和HDMI接收器都采用内部锁相环(PLL)在其输出总线上产生时钟和像素数据。这意味着，在数字化模拟视频，或者接收HDMI流时，将为两台摄像机产生两个独立的时钟域。另外，两个视频流可能存在对齐误差。这些时序差异和对齐误差必须在后端器件（如FPGA）中进行补偿，先将数据带至共同的时钟域，然后再将两个视频图像结合成单个立体视频帧。然后，通过一个支持3D的HDMI 1.4HDMI接收器（如 ADV7511 或 ADV7513—也可以将其提供给DSP（如 ADSP-BF609 Blackfin 处理器）—以便进一步处理。