首页 创业指南 致富视频 网上开店 养殖视频 范文大全 创业项目开店经验创业杂谈如何创业技术资料创业防骗项目分析微信营销农村创业投资理财
  • 养鹅技术
  • 甲鱼养殖
  • 河豚养殖
  • 养鱼技术
  • 湖羊养殖
  • 养鸭技术
  • 竹荪种植
  • 狐狸养殖
  • 养鳖技术
  • 斗鸡养殖
  • 养猪技术
  • 养牛技术
  • 养鸡技术
  • 野兔养殖
  • 仔猪养殖
  • 养鹿技术
  • 养蛇技术
  • 香猪养殖
  • 蘑菇种植
  • 养龟技术
  • 黑木耳种植
  • 金地菇种植
  • 香菇种植
  • 野猪养殖
  • 母猪养殖
  • 食用菌种植
  • 麝香鼠养殖
  • 生猪养殖
  • 海参养殖
  • 梅花鹿养殖
  • 水貂养殖
  • 长毛兔养殖
  • 奶牛养殖
  • 火鸡养殖
  • 蜈蚣养殖
  • 蝎子养殖
  • 养蛙技术
  • 林蛙养殖
  • 娃娃鱼养殖
  • 波尔山羊养殖
  • 山鸡养殖
  • 肉鸡养殖
  • 豪猪养殖
  • 养虾技术
  • 对虾养殖
  • 蛋鸡养殖
  • 肉兔养殖
  • 獭兔养殖
  • 石蛙养殖
  • 蝇蛆养殖
  • 蜜蜂养殖
  • 黄粉虫养殖
  • 山羊养殖
  • 水蛭养殖
  • 蚯蚓养殖
  • 土鸡养殖
  • 肉牛养殖
  • 竹鼠养殖
  • 鸽子养殖
  • 土元养殖
  • 黄鳝养殖
  • 泥鳅养殖
  • 养羊视频
  • 其他视频
    • 东东创业网 > 养殖视频 > 其他视频 > 正文

    基于FPGA+DSP的高清视频监控系统研究

    时间：2023-01-24 17:40:03 来源：东东创业网 本文已影响人 东东创业网手机站

    相关热词搜索：

    王笑寒，韩文波

    （长春理工大学 光电工程学院，长春 130022）

    社会的飞速发展推进城市化进程，城市的人口随之增多，且流动幅度增加，带来治安案件频发，增加了公安部门治安防控的难度。视频监控系统越来越多地应用于日常生活的各个方面。银行、住宅、机场等各方面对安全防范设备和现场监控系统的需求更是与日俱增，对于视频监控系统的要求也随之越来越高。更高性能的视频监控系统可以满足各个场所安防任务的要求。

    随着科技的发展，以嵌入式网络视频服务器、编解码器的网络化数字视频监控出现在大众视野之中。如今的视频监控系统要求对数字图像进行处理以实现高清晰度高实时性的显示需求，这就涉及到高速大数据流的数据采集、数据存储、传输及图像处理能技术。FPGA与DSP组合作为视频监控的嵌入式核心可以很好地解决上述问题。为了解决摄像头大数据量采集过程中传输速率慢的问题，本文搭建了以FPGA+DSP为核心的高清视频图像采集及处理系统，分别从采样接口、数据存储及数据处理三个方面提高数据的传输速率[1]。

    本系统选用Atlra公司的EP4CE75F29为控制核心，代替传统串并转换芯片DS90CR288A，使用FPGA内部IP核实现串并转换功能，完成对Camera Link接口数据的采集，CMOS相机Camera Link接口配置为Full模式发送8路LVDS数据，由本文设计FPGA的Camera Link串并转换模块接收，转换后发送出64路并行数据，解决采集数据过程中高速传输的问题。转换后的图像数据逐帧存储在MT47H256M4中做乒乓操作，解决了大数据量的存储问题。选取TMS320DM6437为DSP算法芯片，将存储在DDR2中的图像数据通过EMIF接口发送到DSP中，按H.264压缩标准实现视频压缩，减少冗余图像数据提高传输速率。将压缩后的图像数据通过KSZ8001L以太网发送，实现高清采集、处理及远程传输的功能。

    2.1 Camera Link接口Full模式

    Camera Link接口协议定义了三种模式：Base（基础模式）、Medium（中等模式）、Full（完全模式）。Base模式采用3个端口，每个端口8位数据宽度，一组24 bit数据的同步传输。Medium模式采用6个端口，每个端口8位数据宽度，两组共48 bit数据的同步传输。在Full模式下，可实现8个端口三组数据的同步传输，数据宽度可达64 bit。Camera Link采集芯片DS90CR288A采集数据最高的时钟频率为85 MHz。Camera Link接口工作在Full模式下，可以达到的数据接收量为5.44 Gb/s[2]。

    图1 系统总体方案

    为了实现4 K分辨率30 fps高数据量的图像采集，图像数据的传输速度要求更快，需要每秒传输的数据量为：

    使用DS90CR288A不能满足高数据量的传输需求，为了提高传输速率，本文采用FPGA设计数据的收发模块。FPGA的Cyclone IV芯片最高输出PLL频率为1 300 MHz，使用FPGA控制串行输出的LVDS信号按1：7转换为7路并行数据，可以达到的LVDS最高传输速率可达185.5 MHz。采用Full模式同步采集3组数据可以达到的最大数据量为：

    采用FPGA代替传统的串并转换芯片接收Cameralink接口数据，满足4 K高清图像数据采集及传输需求[3-4]。

    2.2 DDR2乒乓操作

    为了解决采集系统高速存储及发送的问题，选取两块DDR2代替双口RAM做乒乓读写操作。使用FPGA的Fifo模块，解决了FPGA与DDR2之间时钟不同步的问题[5]。

    图2 DDR2 SDRAM乒乓操作原理示意图

    对乒乓操作的工作的流程进行设计，在t0开始工作时，数据输入选通模块首先将一帧视频图像存入一块DDR2中，在t1时刻开始进行乒乓操作，将起始存入的视频图像数据从DDR2中发送给读取选通模块的同时存入另一块DDR2中下一帧的图像数据，如此往复，实现了高速大数据量储存。选取的DDR2型号为MT47H256M4，最大的时钟频率可达1 066 MHz，每秒可存入的数据量为17 Gb。通过乒乓操作满足了4 K大数据量的高速存储需求[6]。考虑FPGA驱动DDR2 SDRAM控制器的工作原理，可以将其按功能主要划分为状态控制模块、数据读写模块、命令控制模块以及FIFO模块。控制器结构图如图3所示。

    图3 DDR2 SDRAM控制器结构图

    2.3 H.264硬件压缩

    为了解决视频数据量大以太网传输码率低的问题，选用DSP对数据进行H.264算法压缩。本系统经FPGA完成了视频的采集后，对采集到的视频数据发送到DSP中进行压缩，将压缩后的视频数据通过千兆以太网实时地传输到监控中心，DSP实现了硬件视频压缩及发送需求。采用DSP为核心的硬件压缩，相比于软件压缩需要的主机，体积小、功耗低，并且性能较高，适于完成视频图像采集及处理系统小型化的需求；
    相比于软件，硬件压缩可以实时地压缩及发送图像数据，实时性保障了网络摄像头的远程监控需求[7]。

    为实现高速传输4 K高清图像任务，根据所研究技术搭建硬件电路，分别从Camera Link接口采集模块、DDR2存储模块、以太网接口模块三个方面介绍设计电路。

    3.1 Camera Link接口模块硬件电路设计

    Camera Link接口采集模块硬件原理图如图4所示，通过EP4CE75F29扩展出的IO口编译为LVDS差分信号线将SDR26接插头将采集数据传输至FPGA中。本实验设置Camera Link接口的接口模式为Full模式，需要两块SDR26传输的信号包括：一组控制相机的信号（CC1、CC2、CC3、CC4）、一组串口通信信号（SerTFG、SerTC）和三组图像数据信号（X0～X3、Y0～Y3、Z0～Z3）。通过FPGA对串行接口时钟（XCLK，YCLK，ZCLK）提供185 MHz时钟进行数据传输。设计此模块将采集数据传输到FPGA中进行高速串并转换处理，实现Full模式Camera Link接口数据采集功能。

    图4 Camera Link接口SDR-26与FPGA硬件连接图

    3.2 DDR2存储模块硬件电路设计

    本系统设计选用Winbond公司的MT47H64M 16HR-3IT芯片作为系统的缓存设备。DDR2 SDRAM是对内部电容不断充放电来实现数据存储的稳定性。DDR2 SDRAM乒乓操作硬件连接图如图5所示。

    图5 DDR2 SDRAM与FPGA硬件连接图

    3.3 以太网接口模块硬件电路设计

    本系统中，DSP控制网络传输模块接收视频信号并作解码处理。网络传输模块主要是由以太网媒体接入控制器EMAC、物理层接口收发控制器PHY以及以太网接口三部分组成，其中，EMAC与PHY通过MII接口传输数据。支持10/100BASE-T全双工、半双工通信模式，并通过RJ45网络接口相连实现数据的网络传输，工作电压为3.3 V，采用百兆网传输，时钟信号采用25 MHz，图6为网络传输模块电路硬件连接原理图。

    图6 网络传输模块电路原理图

    系统软件主程序流程图如图7所示。程序主要例化了采集数据模块、DDR2 SDRAM乒乓操作模块、硬件压缩模块、以太网数据传输模块。首先FPGA采集数据模块按照Cameralink接口协议给定的时序将图像数据与DE、HSYNC、VSYNC等信号采集到FPGA中完成数据的采集，同时使用DS90CR288A串并转换芯片采集相同数据做对比实验。将FPGA采集到的视频信号送至DDR2 SDRAM通过控制状态模块与乒乓操作模块，按照给定的顺序依次存入两片DDR2 SDRAM中。从缓存读出的数据在硬件压缩模块进行帧内预测、帧间预测、数据处理后完成H.264压缩最后通过以太网数据传输模块发送。

    图7 系统软件程序流程图

    4.1 FPGA采集数据模块

    CameraLink接口的数据传输基础就是低压差分信号（LVDS）包含1对发送端和接收端。接收端接收5路LVDS信号，其中4路为串行数据流和1路为专用串行时钟流，每条串行数据按照解串比为1∶7进行解串，将这5条LVDS信号还原为28路并行的单端数据信号以及1路伴随时钟的单端信号[8]，传输数据码流如图8所示。

    图8 28-bit数据位置映射图

    传输的数据存放到设置的寄存器信号clr_dval、clr_lval、clr_fval中等发送命令传输到DDR2中，数据传输的顺序按上述的28-bit数据位置映射图对应传输。调用IBUFDS的IP核配置LVDS通道，通过IP核实现一路串行差分信号转换为并行数据。通道深度设置为7 bit，按照Cameralink接口协议一路LVDS信号线传输7位并行数据，实现FPGA的采集模块。图9为FPGA采集程序RTL调试界面

    图9 RTL调试界面

    4.2 DDR2 SDRAM存储模块

    基于两片DDR2 SDRAM所进行的乒乓操作读写设计，需要由一个顶层模块控制两个DDR2 SDRAM控制器。其中，DDR2状态控制模块根据操作指令控制初始化状态机、读写状态机以及自动刷新模块，初始化状态机和读写状态机别控制DDR2 SDRAM的初始化时序以及读写时序，自动刷新模块根据刷新计数器的值从而使其进行周期性刷新操作。DDR2 SDRAM状态流程图如图10所示。

    图10 DDR2 SDRAM状态流程图

    4.3 H.264压缩模块

    采用DSP连接FPGA使用H.264压缩算法处理图像数据，减少冗余的图像像素数据。算法将每一帧图片分成多个宏块，提出宏块之间的差值用来传输减少传输过程中的冗余数据，提高传输能力[9]。

    编码时，编码对象为输入帧内的各个宏块，编码器根据视频图像具体情况选择相应预测方式。当选择帧内预测时，需要编码的对象P中所有的像素点都需要各自进行编码，每个像素点预测值根据当前帧中和它临近的像素点通过算法得到，所有像素点的预测值构成了块P的预测帧。当选择帧间预测模式时，预测值P通过运动估计和运动补偿得到，先要根据实际情况选择参考帧，将当前帧和参考帧以块为单位分别通过选定的判定标准进行运动估计和运动补偿，得到每个块的预测值。选定的预测值与对应块的预测值进行相减，得到残差值，对残差进行变换编码，通过熵编码后打包形成码流[10]。

    图11 H.264压缩算法流程图

    5.1 Camera Link接口操作对比实验

    为了实现4 K分辨率30 fps高数据量的图像采集，本文采用FPGA设计经计算数据的收发模块达到的最大数据量为11.84 Gb/s。如图12为modelsim仿真DS90CR288A数据采集时序，系统时钟最大设置为85 MHz，初始化完成后，当clr_dval、clr_fval、clr_lval置 1 后，进行数据采集，输入端portA、portB、portC共24路并行数据开始传输，按系统时钟7∶1的时钟频率转换成4路串行数据稳定传输，转换后共28路数据在FPGA接收，传输数据时序图如图13所示。

    图12 DS90CR288A传输数据仿真图

    图13 FPGA传输数据仿真图

    转换后的时钟clock_p，clock_n高低电平比为4∶3，时序图完全符合数据映射图中的时钟信号TxCLK OUT，剩余四路LVDS通道按7∶1传输共28位图像数据，选用FPGA最大内部PLL，LVDS最高传输速率可达185.5 MHz。

    5.2 DDR2 SDRAM读写操作验证

    图14为两片DDR2 SDRAM乒乓操作时序仿真图。sdram1_data和sdram2_data为两片DDR2的数据总线，当第一片DDR2 SDRAM完成一组八位数据写操作后，第二片再进行写操作，如此交替往复完成乒乓操作。

    图14 两片DDR2 SDRAM乒乓操作时序仿真图

    5.3 以太网模块测试

    通过H.264压缩数据的压缩比可达156，非常大地降低了4 K视频数据量，使数据量降为1.2 Mbps，说明系统的余量很大。当按照50 KB/s的速度接收数据时，在接收端并未出现丢包和误码的现象，说明经过H.264压缩后通过以太网模块正常传输采集的视频数据。

    5.4 系统验证及性能分析

    系统主要实现了分辨率为3 840×2 160，帧频为60 Hz的视频图像从Cameralink接口采集，经DDR2乒乓操作缓存、H.264硬件压缩后，最终通过以太网模块发送，符合系统要求。在工具综合与布线之后，查看Quartus编译后生成的系统资源消耗统计表。表中可知该系统所占FPGA硬件资源适中，没有消耗大量资源，是在可接受的范围之内。

    系统通过FPGA完成了对4 K分辨率CMOS相机的高清采集、处理的功能，运用Verilog语言实现大数据量的FIFO缓存，且不丢失数据。通过DSP完成了图像数据的压缩及远程发送，视频实时性高、压缩比达到了156，大大减小了网络传输的压力。选用FPGA与DSP为控制核心搭建高速实时图像采集与处理系统，在安防监控这样的视频领域有着广阔的发展。

    猜你喜欢 数据量以太网时钟 别样的“时钟”数学小灵通·3-4年级(2021年9期)2021-10-12基于大数据量的初至层析成像算法优化北京大学学报（自然科学版）(2021年3期)2021-07-16古代的时钟小学生学习指导(低年级)(2020年10期)2020-11-09高刷新率不容易显示器需求与接口标准带宽电脑爱好者(2020年19期)2020-10-20宽带信号采集与大数据量传输系统设计与研究电子制作(2019年13期)2020-01-14三大因素驱动创新提速以太网快步迈入“灵活”时代通信产业报(2017年6期)2017-03-27三大因素驱动创新提速 以太网快步迈入“灵活”时代通信产业报(2017年3期)2017-03-24有趣的时钟数学大王·中高年级(2017年2期)2017-02-08谈实时以太网EtherCAT技术在变电站自动化中的应用电子制作(2017年24期)2017-02-02时钟会开“花”学苑创造·A版(2016年4期)2016-04-16
  • 党组织带领致富能力不强的表现|在党
  • 野鸡图片大全_山鸡的种类图片
  • [虾能养多久] 打氧气的虾能活多久
  • 共同致富成语形容_形容致富的成语
  • 穿越七十年代发家致富_穿越七八十年
  • 吉木乃县:白鹅唱响增收致富曲 吉木
  • 2018全国大葱种植面积 [2018大葱种
  • 禁止2018养鸡养鸭通知 [禁止养鸡养
  • 名人创业故事分段标题_最经典创业故
    • 创业指南
    • 网上开店
    • 养殖视频
    • 理财
    • 政策
    • 技术
    • 致富视频
    最新文章

    推荐访问

    本文基于FPGA+DSP的高清视频监控系统研究由东东创业网整理提供，版权归原作者、原出处所有。

    Copyright © 东东创业网 All Rights Reserved.