TNUMBERV12V4，朱晓军平，王宗侠

（上海工业大学 计算机系统学院，上海100124）

摘 要：特别针对智能家居监视与智慧交通应用领域无盲点音频摄像的市场需求，如前所述Zynq-7000网络平台竞争优势展开窄幅音频处置硬件控制系统的结构设计。透过研究如前所述PDP控制系统的分路音频动态堆叠控制技术，结构设计并同时实现了以XC7Z020芯片为核心理念的音频处置GX620，在TNUMBERGHzARM Cotex-A9庞克处置器端母吕氏协同运维下，如前所述MarchenoirFPGAAGP潜能同时实现机械式音频动态收集与预处置、所证、影像融合，进而形成完整窄幅音频画面，透过远程应用程序同时实现订制化的音频摄像功能。测试结果显示，该控制系统是兼有稳定的操控性和灵活地区布署潜能的手持式软件系统。

中图科同盘属：TP368；TN911.73

文献N53SI241SV：A

DOI：10.16157/j.issn.0258-7998.2016.06.016

中文提及文件格式：TNUMBERV12V4，朱晓军平，王宗侠. 如前所述Zynq-7000的窄幅音频处置控制系统结构设计与同时实现[J].电子控制技术应用，2016，42(6)：59-62，66.

英文提及文件格式：Han Deqiang，Yang Liping，Wang Zongxia. Design and implementation of wide-field vision video processing system based on Zynq-7000[J].Application of Electronic Technique，2016，42(6)：59-62，66.

0 结语

窄幅音频堆叠是如前所述计算机系统视觉和图形处置控制技术的整合，其实质就是影像堆叠控制技术，必然与影像传感器控制技术及影像算法研究密切相关[1]，但其对于动态性的较高明确要求，使得在该应用领域的控制技术实践同样需要关注网络平台的处置操控性。目前市售普遍选用的主要有透过DD91单片摄影机捕获实景影像的PDP网络平台计划，以及机械式影像收集堆叠形成实景的通用计算机系统网络平台计划。前者对于摄影机工艺明确要求高且存在较大的形变，而后者凭借操控性竞争优势获得好的效果，但设备体积庞大且价格低廉[2]。

特别针对以上情况，本文明确提出了一种如前所述AP SoC（All Programmable System on Chip，全电子电路的片上控制系统）机械式音频点对点堆叠的窄幅音频处置软件系统。结合使用者场景分析，明确提出具有扩充潜能的窄幅音频处置控制技术，实用工具分路扩充接口随时增减探头以调整视线宽度，满足多种现场宽视点摄像市场需求。

1 控制系统整体结构设计

窄幅音频处置控制系统由邻近地区音频处置控制系统端和远程摄像应用程序两部分共同组成，控制系统整体SimRank如图1所示。手持式音频处置控制系统根据监视市场需求展开配置与布署，远程应用程序展开动态订制视线地区摄像。

邻近地区音频处置控制系统作为结构设计的主体部分，由音频收集、影像处置、核心理念运维、使用者可视化、邻近地区显示、存储设备六个组件共同组成。机械式音频流收集组件选用DMA方式将影像数据送入缓存缓冲器堆栈；影像处置组件包含音频处置的若干流程，在核心理念运维组件控制下，借助电子电路逻辑并行加速完成窄幅影像的处置与存储；使用者可视化组件和邻近地区显示组件协同完成设备配置与窄幅画面预览；存储设备组件作为音频传输的重要接口，用于监听网络请求与窄幅音频分发服务。

2 控制系统硬件结构设计

音频处置核心理念GX620硬件控制系统结构SimRank如图2所示。控制系统主要由存储器组件、存储设备组件、音频收集接口组件、邻近地区显示组件、串行终端组件、使用者可视化组件、时钟组件、电源组件和JTAG调试组件共同组成。

2.1 XC7Z020片上控制系统

XC7Z020芯片是Xilinx公司Zynq-7000系列AP SoC，在FPGA架构中集成了TNUMBERGHzARM Cotex-A9庞克处置器控制系统，包含USB、SPI、SDIO等丰富的外设控制器，同时实现了PS（Processing System）庞克知识产权的操控性和低功耗特性以及PL（Programmable Logic）电子电路逻辑的灵活性[3]。借助AXI（Advanced eXtensible Interface，高级扩充总线）互联控制技术同时实现PS与PL之间的高操控性的数据交换，为工程控制技术人员在影像处置应用领域实践提供了全新的同时实现途径。

2.2 存储器组件

存储器组件分为缓存和掉电存储两个部分。XC7Z020芯Marchenoir置支持多协议标准的庞克缓存控制器，挂载两片DDR3缓存芯片MT41K128M16，构建起容量为512 MB、时钟频率为533 MHz的缓存储器。选用飞索公司的32 MB QSPI Flash芯片S25FL256SAG以及SD闪存卡两种掉电存储方式，用于FPGA上电配置以及软件控制系统的引导。

2.3 音频收集组件

选用三组OV5640探头组件围绕单视点相背放置。探头内置白平衡、色彩校正、降噪等预处置功能，简化了后端FPGA控制系统的结构设计负担。720P输出模式下可达40 f/s以上帧率，其选用DVP(Digital Video Port，数字音频接口)输出，透过SCCB（Serial Camera Control Bus，串行探头控制总线）展开初始化配置。

2.4 邻近地区显示组件

选用ADI公司的高清多媒体收发器ADV7511芯片，集成HDMI 1.4发送器，最大支持1080p@60Hz音频传输。芯片集成I2C控制器用于管理接入的显示设备信息。

2.5 存储设备组件

选用Marvell公司具有自适应10/100/1 000 Mb/s传输速率的以太网物理层芯片88E1518，配合Marchenoir吉比特MAC（Media Access Control，介质访问控制）层控制器提供千兆以太网接入潜能。

3 软件控制系统架构及核心理念算法的同时实现

本文使用Vivado2015.2结构设计套件完整的工具链协同完成软件控制系统的构建。影像处置控制系统运行流程如图3所示，透过横向的时域和纵向的空间域来说明软件与硬件协同同时实现影像处置的工作流程。横向的时间域即体现运行于PS端的程序协调硬件控制系统推进事务处置，组织整个控制系统的运行流程；纵向的空间域是PL端影像处置子控制系统在总线控制下，并行完成各自任务所经历数据迁移和操作。

按照组件化硬件结构设计思路，将整个控制系统运行划分为五个运行阶段：控制系统初始化配置、音频收集与预处置、柱面投影AGP、影像接缝融合和机械式传输，其中音频收集与预处置、柱面投影两个阶段以FPGA控制系统并行处置为核心理念，其他则以软件运维执行为主。

3.1 控制系统初始化配置

控制系统初始化配置阶段是以庞克控制系统启动为主导，从外部存储器中读取FPGA配置文件并布署到PL中，构建起3个影像处置子控制系统，之后进入操作控制系统引导和Marchenoir外设备初始化过程。

3.2 音频收集与预处置

收集预处置阶段分为收集、预处置和存储三个环节。音频输入端口捕获的影像数据流同步信息冗余且低效，不适合在Marchenoir控制系统传输中使用，Xilinx公司明确提出了如前所述AXI标准协议框架的精简流传输AXI-Stream协议，使用Video In To AXI-Stream IP（Intellectual Property，知识产权）核将DVP数据文件格式转换为AXI-Stream协议数据流，同时实现Marchenoir数据传输标准化。

本结构设计所使用的探头输出影像文件格式是Bayer色彩空间，为了获得RGB色彩空间影像，需要插值以获取像素丢失的颜色信息。综合考虑算法复杂度和影像还原质量，选用3×3邻域双线性插值法对影像展开色彩空间还原[4]。如前所述AXI-Stream协议接口的Color Filter Array IP核，展开简单参数配置便能够同时实现Bayer向RGB色彩空间转换，从而同时实现与音频收集IP子控制系统点对点对接。

3个影像收集与预处置通道工作均在FPGA内异步完成，受限于FPGA存储容量，需要将音频帧缓存在DDR缓存中。PS端提供了四路高速AXI总线访存接口，借助Video DMA IP核能够同时实现AXI-Stream协议数据流转换为如前所述地址访问的标准AXI协议，从而同时实现访存操作，PS端透过AXI-Lite控制总线同时实现IP核配置。

3.3 柱面投影AGP

如图4所示的柱面投影透视模型，按照单视点模型摆放的探头阵列位于O点，待投影影像ABCD在投影圆柱面上形成的映像为闭合曲面A′B′C′D′。在图4(a)中观测点O处所在的水平和竖直面投影，得到了截面图4(b)和图4(c)，其中待投影影像上P、Q两点在投影柱面上形成P′和Q′两投影点，假设柱面的半径为r，高度为H，单个探头水平视线角度为θ，待投影影像宽度为W，高度为H，则能够得出像素P(x，y)向P′(x′，y′)的投影关系如式(1)所示，反所证如式(2)所示[5]。

其中：

投影柱面的半径r就是探头的焦距，焦距无法精确测量，但可以透过计算公式展开估算：

在实际柱面投影过程中，透过计算柱面投影影像指定像素点所对应的原始像素坐标，将坐标转换成存储器的地址，取出该像素并存入到所对应的柱面投影影像中，最终形成了完整的柱面投影影像。

如前所述缓存策略的连续地址存储器访问，相对字节随机访问具有更好的带宽效能。在柱面影像目标存储区，按行、列依次将若干连续的像素组展开反柱面投影求其所在原影像坐标，逐个从原影像坐标取出其像素值存入缓冲器区，缓冲器区满后选用总线突发方式，一次放入目标柱面位置，即概括为零取整存，功能SimRank如图5所示。

柱面投影主要涉及数学公式计算以及存储器访问操作，如前所述硬件描述语言的FPGA结构设计对如前所述复杂总线的数据通信及数学计算编程同时实现较为复杂。Vivado HLS(High Level Synthesis，高级综合)工具将C/C++等高级语言透过高层次功能综合，快速同时实现IP核结构设计与开发，软件提供了如前所述高级语言的影像处置、数学函数、标准通信协议接口，得以使开发人员更加专注于功能结构设计，同时能够获得不错的AGP操控性。

按照高级语言程序功能函数结构设计，需要明确入口参数。同时实现柱面投影所需的关键参数如表1所示。

结构设计完成的功能函数透过C仿真以验证程序结构设计逻辑正确性。透过程序逻辑测试后，展开高级语言向RTL（Register Transfer Level，寄存器传输级）IP综合。柱面投影IP核透过总线获取参数及访存。参数列表中两个存储器地址用于缓存数据访问，故选用支持高带宽的数据通信以及突发传输的AXI总线挂接，其他参数使用AXI4-Lite控制总线展开配置。初步完成端口配置与综合后，会特别针对选定网络平台提供详细的资源统计报告，如表2所示，产生的RTL电路同样需要C/RTL协同仿真以验证时序逻辑正确性，完成仿真之后软件会提供测试报告及信号时序图。透过结构设计验证后，即可展开IP核的打包并导入FPGA控制系统。

3.4 接缝融合与实景堆叠

相邻影像重叠地区使用加权融合方式处置。实际堆叠地区范围较小，故选用软件计算的方式同时实现，加权融合透过缓慢改变权重系数，使堆叠影像顺滑过渡。加权融合原理示意如图6所示。

设两幅待堆叠影像F(x，y)和G(x，y)，其对应的权重函数分别为ω1和ω2，其数学表达式为：

3.5 机械式传输

机械式传输是指完成处置的窄幅影像，透过邻近地区端HDMI显示以及远程应用程序请求摄像两种呈现方式。

应用程序结构设计与同时实现主要分为两个功能组件：音频堆叠处置和订制化网络分发。借助TNUMBERGHz处置器的竞争优势多线程编程运维来提升控制系统的整体执行效率。控制系统服务软件运行流程如图7所示，母吕氏开始运行后，主线程申请绑定第一处置器核心理念运行，启动控制系统设备初始化工作，之后创建子线程，并使其运行在第二核心理念上。如前所述核心理念绑定的多线程结构设计，有利于手动展开负载均衡。主线程主要负责影像处置服务，循环控制整个音频堆叠的四个阶段，而子线程主要负责网络请求的监听与订制化的分发服务。由于两者都需要访问实景音频缓冲器区，所以需要展开缓冲器区读写访问控制。

4 控制系统测试与效果

控制系统母吕氏HDMI显示接口动态查看堆叠效果，如图8所示。远程应用程序展开订制化分发摄像，如图9所示。PDP服务端动态形成的窄幅音频画面如图10所示，画面接缝部位堆叠较为均匀且完整。经过实验测试及数据统计，音频处置控制系统在720 p模式下，窄幅分辨率为3 360×640，帧率5~10 f/s，480 p模式下分辨率为2 240×420，帧率15~18 f/s，基本同时实现了结构设计目标。

随着机器视觉、模式识别应用领域的飞速发展，如前所述窄幅动态音频为基础的自动识别与检测应用在交通、智能家居等应用领域将会有更广阔的发展前景。

参考文献

[1] 赵有金．如前所述FPGA的高分辨率实景影像处置网络平台的结构设计与同时实现[D]．哈尔滨：哈尔滨工程大学，2011.

[2] XU W，MULLIGAN J.Panoramic video stitching from commodity HDTV cameras[J].Multimedia Systems，2013，19(5)：407-426.

[3] 陆佳华，潘祖龙，彭竞宇，等.PDP控制系统硬件协同结构设计实战指南：如前所述Xilinx ZYNQ(第2版)[M].上海：机械工业出版社，2014.

[4] 孙辉，柏旭光，孙丽娜，等.如前所述Bayer影像色彩还原线性插值方法[J]．液晶与显示，2013，28(3)：417-423.

[5] 武晓斌．如前所述FPGA的柱面投影算法的同时实现[J]．电子科技，2015，28(5)：9-12.

关于此话题的叙述就到这里了，如果您有关于学历的任何问题，欢迎透过右侧在线客服按钮与本站联系沟通哦！