ADI:监控和查看体系中的视频解码器基本原理

文章转自ADI官网，版权归属原作者一切

视频查看1体系已被广泛运用于商业和工业范畴。摄像头—从是非闭路电视(C C T V) 体系中的廉价和低分辩率产品到数字视频体系中的先进和高分辩率产品—被用于从产品查验、交通监管到实时人脸辨认等各种运用场合

视频自身承载有很多数据，这些数据使得信号处理和数据存储使命变得适当杂乱。经过丢掉无用的信息、只传递图片的重要部分能够简化视频查看体系，节约存储器和运算周期。图1给出了一个典型体系的组成单元。

本文将经过几个比方来论述提取有用数据怎么能够使处理要求、存储器容量和DSP运用率到达最小，并介绍ADI公司 视频解码器 ²的特别功用怎么能够简化视频算法、加速视频查看体系的开发速度。

实例1. 计数和查验物体

试想一下，一条宽传送带正在快速传送许多产品，而很多的产品使得人工计数十分困难。摄像头除了能使计数使命自动化外，还能用来监督产品质量。这能够经过修正简略的计数算法以让它重视特定细节和瑕疵来加以完结。

存储一切视频数据需求很多存储器，而处理很多数据也需求消耗很多硬件资源和处理才干。因而在查验传送带上的产品时，体系不会将整个图片数据收集进存储器，而是要从很多数据中找到感兴趣的细节，并尽可能多地丢掉无用数据。

在大多数情况下，灰度级图片就带着有满意的信息，因而能够将RGB信号转化成（只要亮度的）Y信号，丢掉掉色度信息 。然后运用边际检测办法查看单色图片中的内容以发现传送带上的产品，然后将它们的形状与样板进行比较，判别产品是否正常

边际检测算法—只需求活动视频的几条线和少数存储器—能够经过核算活动图片的一阶和二阶导数发现相邻像素亮度的不接连性，详见Bernd Jähne所著的 Digital Image Processing 一 书₃。在实践运用中，边际检测能够经过运用矩阵核算办法提取信息来完结，如Sobel⁴矩阵算子。在FPGA（现场可编程门阵列）完结中，以像素为单位进行这样的边际检测能够供给令人满意的成果。Tanvir A. Abbasi和Mohm Usaid Abbasi5协作编撰的”A proposed FPGA based Architecture for Sobel matrix operator一文介绍了一种简略的FPGA完结计划。还能够经过添加高斯二维滤波器消除噪声，详见MathukumarVenkatesan和Daggu Venkateshwar Rao6合著的””Hardware Acceleration of Edge Detection Algorithm on FPGAs” 。这篇文章介绍了一个相似于Canny边际检测器的检测器成功完结事例⁷。

还有其它几种优化算法能够用来进步图片质量，但这些算法都要占用FPGA规划中的名贵资源。但是，一些集成电路(I C) 视频解码器现已集成了有用的预处理算法或滤波器，因而挑选这样的IC能够节约FPGA资源。例如 ADV7802 视频解码器⁸就包含了 亮度瞬态改进 (LTI) 和 色度瞬态改进 (CTI) 模块. T这些模块经过改进亮度和色度改动的锐度来进步图片质量，并运用自适应峰值和非线性办法—不会添加噪声或引进瑕疵—在边际检测进程中十分有用。别的，亮度整形和其它内置输入滤波器能够消除源自信号源的高频噪声—专心于信号，疏忽偶尔呈现的噪声。

边际检测供给的是物体边际改动的信息，而不是物体的整个图片，数据量能从3×8位/像素(bpp) 削减到1bpp，然后节约很多存储器空间：

• 640 像素 × 480 像素= 307,200 位 （1bpp时）
• 800 像素 × 600 像素 = 480,000 位 （1bpp时）
• 1024 像素 × 768 像素 = 786,432 位 （1bpp时)
• 1280 像素 × 720 像素 = 921,600 位 (1bpp时)

经过将RGB转化为Y，在存储器中只存储活动视频的几条线，并运用FPGA算法，咱们就能够检测物体，调查它们的形状。一旦知道这些物体在移动中的传送带上的方位，咱们就能估量它们的运动，并从下一帧中收集颜色或其它信息，保证运用最少的存储器空间。这个进程触及：

1. 边际检测
2. 存储信息
3. 猜测下个方位x_n+1
4. 从预设的产品方位区域提取信息

比方2. 检测运动和质量

机器人能够寻觅特定间隔和有限规模内的方针。在一些运用中能够运用超声波；但假如物体表面会吸收超声波或方针在玻璃后边，能够运用视频。摄像头焦距设定在附近物体上。在近间隔规模内的物体会有明晰的边际，而规模之外的布景象只要含糊的边际（图3）。

边际检测能够用来分辩方针间隔规模内的物体，因为它们是仅有具有明晰边际的物体。布景中的物体将满意含糊，不能经过边际检测测验。这种边际检测处理将发生一个二元位图，其间1表明检测到一个边际，0表明没有检测到边际。每个检测到的边际像素的方位(x,y) 能够代入公式1近似算出被阻隔物体的中点：

(1)

其间x_n是边际像素n的x轴方位，y_n是边际像素n的y轴方位，N是检测到的边际像素的数量。

一旦物体方位及其边际已知，咱们就能够试着进行盯梢。关键是从图片中正确提取物体，将它的边际转化成概括，然后用来判别物体是否执政摄像头移动，办法是查看像素距物体中心的均匀间隔以便判别物体尺度是否在改动，如公式2所示

(2)

N是frame帧中的边际像素数量，M是F R A M E-1帧中的边际像素数量。

聚集横轴能够得到公式3

(3)

当物体朝摄像头移动时（像素从物体中心向外扩展），这个公式的值是正的。负值意味着物体正在远离摄像头，如图4所示。

请注意，物体有必要在摄像头焦距规模内。经过修正算法咱们能够 自动改动焦距 以扫描更大的面积。一旦检测到物体就能够进行分段、处理和盯梢。

跟着视频杂乱度的添加，盯梢物体将变得愈加困难，特别是有纹路的物体以及因为移动速度过快而失掉锐度的物体。Jianbo Shi所著的 “Good Features to Track” 一文介绍了一些盯梢算法。当物体失掉锐度时，边际检测将会失利。在这种情况下运用复数相关技能（如模块匹配）—用来预算运动—或选用Yao Wang、J örn Os termann和Ya-Qin Zhang三人合著的 “Video Processing and Communications” 一书中具体介绍的其它办法仍能够完结盯梢.

因为摄像头供给的是接连的数据流，因而能够经过盯梢物体判别它的加速度和其它参数。但是，有必要运用高质量的视频序列才干获得杰出的视频剖析成果。当经过剖析相邻像素检测边际时，逐行扫描视频要比低质量的隔行PAL或NTSC信号具有更好的分辩率。 ADV7401 和 ADV7403 视频解码器¹²能够承受各种视频规范，包含逐行形式。这两款器材能够数字化处理高达140M H z的视频信号，而且能够处理标清、增强明晰度和高清重量信号、CVBS和图形。别的，它们还支撑非规范视频形式，答应运用不太盛行的规范，比方STANAG。灵敏的像素输出总线答应处理4:2:2、4:4:4 YcbCr或4:4:4 RGB格局的数据。非规范视频格局能够经过过采样或欠采样到达特定的水平宽度，详见运用笔记 AN-0978, “Component Processor Nonstandard Video Formats”.

图5所示的内置颜色空间转化器(C S C) 能够转化五颜六色空间以满意用户要求（公式4，其间A1…A4，B1…B4，C1…C4都是可调整的CSC参数）。YPrPb或RGB输入信号能够用可装备矩阵转化功用转化成其它格局。例如，将RGB转化成YCbCr答应丢掉色度信息(Cb,Cr)，经过运用单色图片可简化边际检测.

(4)

CSC十分有用。当输入为RGB或YCbCr时，颜色信息能够用颜色空间矩阵进行简略的转化。图6给出了相似于YCbCr的YUV颜色空间。

如图6所示，颜色（ 或YPrPb值 ）有 助 于 检 测 产 品 质 量，例 如 是 否 烧 焦或蜕变。颜色空间转化在视频处理中以及与运用其它规范的IC衔接时都很有必要。A D V 74 01/A D V 74 0 3内 置 输 入多 路 复 用 器，可 以 方 便 地切换视频源，这个特性在从一条中止的传送带切换到另一条工作中的传送带时十分有用

比方3. 调整视频查看中的白平衡和颜色平衡

开发一个从图片中提取物体的视频体系需求支付艰苦的尽力，因为光线视点或强度的少许改动都会影响查验成果。视频工程师能够运用A D V 74 01/A D V 74 0 3的增益和偏移调整功用来调整亮度与对比度，只需在传送带上添加两条很短的参阅条纹（一条暗的，一条亮的）。A D V 74 01/A D V 74 0 3的偏移和增益经调整后得到可比较的值，然后使体系可对光线颜色、视点和强度方面的改动进行补偿。

用于调整正确 白平衡 的算法十分简略。首要，获得参阅条纹的RGB（或YCbCr）值。然后，为了补偿光线改动，能够经过简略地改动器材的偏移和增益到达与参阅值相同的值。这种算法能够用来：

1. 获得暗条纹的RGB（或YCbCr）值
2. 调整偏移以匹配暗条纹的抱负RGB（或YCbCr）值
3. 获得亮条纹的RGB（或YCbCr）值
4. 调整增益以匹配亮条纹的抱负RGB（或YCbCr）值
5. 为了进步精度，可重复进程2和进程4

这个进程在体系开发期间特别重要，因为它能供给正确的偏移（亮度）和增益（对比度）—即便在光线太强或太弱的时分，如图8所示。偏移和增益寄存器能够经过I²C总线拜访，然后能够完结快速自适应。

颜色也能够用于参阅条纹。这种补偿与白平衡相似，并得到广泛运用。不过尽管白平衡比较契合人类的感知，颜色校对却可补偿因为不同照明引起的改动。尽管算法相似，但额定的偏移将导致暗色看起来不自然。A D V 74 01/A D V 74 0 3颜色空间转化、灵敏的输出像素端口以及偏移与增益调整寄存器答应工程师运用现已准备好的数据快速开发算法。如前所述，很重要的一点是削减视频处理所需的数据量、尽量防止将高档算法用于简略视频。具有易拜访像素端口的A D V 74 01/A D V 74 0 3评价板已可供货，它能加速新规划的发动。只需简略地将视频捕获板插进这块评价板的像素端口即能完结视频数据的捕获（图9）。

视频编码器、视频DAC和 AD9889B HDMI发送器被衔接到同一像素总线，答应在第二个输出端口查看当时图片。ADI公司的视频解码器包含了视频处理所需的模块，可供给鲁棒功用和安稳图片.

结束语

视频摄像头能够在工业运用中带来许多优点。当移动物体有必要被分类、盯梢或记载时，这是特别重要的。带高集成度视频解码器的视频技能和实时处理功用能够用来高效地剖析移动中的传送带上面的物体或分类传送带上面的混合产品