利用平台FPGA器件进行多媒体、视频和图像应用设计

当今生活的时代，多媒体通信的出现和流行是大势所趋。随着数字电视(DTV)、IP视频传输、数字相机、无线视频、医疗图像和视频监控等应用的兴起，目前提供音频和数据服务的许多系统都会随实时视频技术的应用而有不同程度的扩展。在最近的技术发展表明，芯片逻辑门密度和嵌入式功能的极大提高为多媒体处理设计提供了激动人心的设计可能性。同时，还可以利用可重配置芯片所提供的额外灵活性来提供具有吸引力的解决方案。本文中，我们将考察多媒体系统的要求以及多媒体处理所需要的一些基本构建模块。然后，我们将讨论将实时视频应用的抽象描述转换为采用FPGA技术有效实现的设计所需要的设计流程。最后，我们将考察新兴压缩标准JPEG2000和MPEG-4的需求。在多媒体处理解决方案领域，FPGA技术能够以合适的价位点提供实现下一代多媒体算法所需要的带宽、设计工具和芯片，从而满足多媒体设计人员的要求。

多媒体通信

由于新兴压缩和通信技术的快速应用，对多媒体通信的需求每年都在提高。这些技术大部分都被ISO、ITU、SMTPte和IEEE等标准机构所采纳。多媒体压缩对于有效地使用可用的存储和带宽资源非常关键。ISO MPEG和J

PEG工作组和ITU一起开发了可满足音频、视频和系统压缩需求的标准。两个最近完成的标准JPEG2000 和 AVC (高级视频编码解码器， MPEG-4 Part 10/H.264)标准，提供了前所未有的性能水平，但密集的计算需求比较有利于FPGA技术，而不是传统基于处理器的解决方案。

这些压缩标准致力于满足范围广泛的应用领域，并按运算的类(profile)和级(level)来划分。类定义了编码解码器中所使用的标准算法功能集合。级则定义了特定类中的参数选择集合，如帧大小和速率。这些标准服务的多样化市场包括数字视频广播、IP多媒体传输、无线多媒体传输、视频监控、医疗图像和数码相机。这些市场在采集、计算和显示方面有着非常不同的要求。

压缩芯片市场预计到2006年时将从目前的15亿美元增长到28亿美元。这一发展趋势与1990年代音频无线应用大变革时的情况类似。今天的许多系统都提供音频和数据服务，我们在文中将考察视频服务的兴起，以及新带来的计算需求挑战。

多媒体系统的要求

多媒体系统的要求高度依赖于最终应用。例如，视频点播(VOD)对延迟的要求相对较高，而视频会议则对延迟有精确的高要求。视频监控在延迟方面的要求则介于在这两个极端之间。实时多媒体系统可能需要也可能不需要实时编码。MPEG标准的开发主要着眼于降低解码器的复杂性，以提供成本经济的方案。相对而言，MPEG编码器的复杂程度是MPEG解码器的10倍左右。不需要实时效果的应用，如视频点播可以采用两步算法进行离线编码以获得最佳的效果。视频监控和视频会议则是需要实时编码的例子。在针对多媒体压缩的标准中，解码器功能规定了严格的标准兼容性规则，而编码器相对则自由多了。换句话来说，视频编码器只要能够生成符合标准的正确位流就可以，而兼容解码器则必须能够解释标准定义的特定类和级中所允许的任何正确位流。

图像数据库存储要求与压缩视频传输的要求绝缘不同。ISO JPEG工作组通常以压缩比率来衡量不同的压缩方案，而ISO MPEG通常采用固定位速率做为衡量参数。只要我们谈到多媒体通信，这些系统在数据传输过程中都需要通信信道能够保证固定的位速率。这导致一个问题，因为压缩比率是序列相关的，因此为了获得可接受的结果，必须在质量方面有所折衷。很明显，在编码器方面如果严格遵循固定位速率生成数据位流，那么就会导致帧之间质量的变化，有时可能会变得无法接受。这一问题可以通过下面的方法来减轻，在类编码器的后面指定一个缓冲存储区，这样就可允许编码器以可变数据速率填充缓冲区，而通信信道则可以以固定速率读取并清空缓冲区。这意味着多媒体压缩系统需要存储器。为了提高或增强质量所需要的额外预处理和后处理也提高了对存储器的需求。例如，在MPEG-4编码器的情况下，典型情况下需要3~10 MB的存储器，而解码器只需要1~3 MB。

对任何系统来说，一个主要的要求是为达到实时操作而需要的每秒运算次数。对于多媒体压缩来说，这确实是一个需要量化的具有挑战性的数字。由于工作点很多，计算所需要的MOPS数值可能很大。图1 给出了几个MPEG-4类以及达到这些工作点所需要的相对MOPS数值，其中一级简单类归一化值为1。一个分辨率为640x480、每秒30帧的JPLEG2000视频监控应用视频流大约需要4200 MOPS，而分辨率为1024x1024、 每秒 60帧的医疗图像无失真码流在采用JPEG2000标准编码时则需要29000 MOPS。利用JPEG200

0标准的4096x2048分辨率24 帧每秒的数码相机需要93000 MOPS。使问题更复杂的是，在整个视频流运算过程中，所需要的MOPS数值并不是固定值，而是依赖于图像内容的。在图2中我们看到在视频序列的播放过程中，峰值MOPS数值是需要确定的关键要求。

图1 不同MPEG类编码所需要的计算MOPS要求