手把手教你用Kintex7 FPGA搭建一个视频采集卡：从HDMI输入到UDP网络流传输的完整流程

手把手教你用Kintex7 FPGA搭建一个视频采集卡：从HDMI输入到UDP网络流传输的完整流程

在工业视觉检测、医疗影像传输等专业领域，实时视频采集与低延迟传输一直是技术难点。本文将带你用Xilinx Kintex7 FPGA开发板（如KC705）构建一套完整的视频采集系统，实现从HDMI信号采集、图像处理到千兆以太网传输的全流程开发。不同于市面上常见的理论讲解，我们将聚焦三个核心痛点：如何解决不同分辨率视频的实时缩放？如何确保UDP传输的帧完整性？以及如何规避PHY芯片配置中的"坑"？

1. 硬件架构设计与关键器件选型

一套完整的FPGA视频采集系统需要精心设计硬件数据通路。以KC705开发板为例，其核心处理流程可分解为：HDMI解码芯片→FPGA图像处理→DDR3帧缓存→UDP协议栈→PHY芯片。每个环节的器件选型都直接影响最终性能表现。

HDMI解码芯片对比：

在KC705上，我们选择IT6802作为解码芯片，主要考虑其三点优势：

1. 直接输出RGB格式，减少后续色彩空间转换逻辑
2. 寄存器配置简单，通过标准I2C接口即可完成初始化
3. 内置EDID管理，可自动识别输入源分辨率

PHY芯片的时序陷阱： RTL8211F和B50610是两种常用的千兆以太网PHY，但其RGMII接口时序配置差异极大：

• RTL8211F需要配置为"Delay Mode"，时钟相位偏移约2ns
• B50610需设置为"Clock-to-Data"模式，采用125MHz参考时钟
• 错误配置会导致MAC层出现CRC校验错误，表现为网络丢包

// RTL8211F配置示例 phy_write(0x1F, 0x0000); // 选择page 0 phy_write(0x00, 0x1140); // 使能延迟模式 phy_write(0x1F, 0x0D42); // 切换到page 0xD42 phy_write(0x10, 0x401F); // 设置RX/TX时序参数

2. HDMI解码与图像缩放实战

2.1 IT6802初始化配置

IT6802的初始化流程需要严格遵循以下步骤：

1. 电源稳定后等待100ms复位周期
2. 通过I2C写入EDID数据（推荐使用1920x1080预设）
3. 配置视频输入模式寄存器（0x08）
4. 设置色彩空间转换矩阵（0x0A-0x0F）

典型问题排查：

• 无信号输出：检查DDC通道是否成功读取EDID
• 色彩异常：确认CSC矩阵参数是否正确
• 画面撕裂：调整VSYNC极性寄存器（0x05）

// I2C配置示例 void IT6802_Init() { i2c_write(0x08, 0x35); // 输入模式：HDMI 1080p i2c_write(0x0A, 0x80); // CSC矩阵系数0 i2c_write(0x0B, 0x00); // CSC矩阵系数1 // ...其他寄存器配置 i2c_write(0x1C, 0x01); // 使能视频输出 }

2.2 纯Verilog图像缩放引擎设计

我们采用双线性插值算法实现实时缩放，核心模块包含：

• 行缓存RAM（存储4行图像数据）
• 插值计算单元（定点数运算优化）
• 跨时钟域FIFO（解决输入输出时钟不同步问题）

关键参数计算公式：

缩放因子 = 目标分辨率 / 源分辨率 相位增量 = (源分辨率 << 20) / 目标分辨率 // 20位定点数精度

对于1080p→720p的缩放：

parameter SRC_WIDTH = 1920; parameter DST_WIDTH = 1280; localparam PHASE_INC = (SRC_WIDTH << 20) / DST_WIDTH; // 0x2AAAAA always @(posedge clk) begin phase_acc <= phase_acc + PHASE_INC; rd_en <= (phase_acc[19:10] != phase_acc_prev[19:10]); phase_acc_prev <= phase_acc; end

注意：缩放模块的RAM消耗与行宽成正比，设计时需评估FPGA的BRAM资源是否足够。对于1080p视频，建议采用2个36Kb BRAM实现行缓存。

3. GTX高速接口与UDP协议栈实现

3.1 GTX IP核关键配置

在Vivado中配置GTX IP核时，需要特别注意以下参数：

• 线速率设置为5Gbps（对应参考时钟156.25MHz）
• 选择8B/10B编码（Comma符号设为K28.5）
• 使能RX均衡（EQ模式设为Adaptive）
• TX预加重设置为3dB（补偿FR4板材损耗）

时钟拓扑结构：

QPLL(156.25MHz) → GTX_Quad → TXOUTCLK(125MHz) → BUFG → 用户逻辑 RXOUTCLK(125MHz) → BUFG → 数据恢复

3.2 视频数据组包协议设计

为保障UDP传输的帧完整性，我们自定义了视频封装格式：

| 帧头(0x55AA) | 帧序号(32bit) | 时间戳(64bit) | 行号(16bit) | 像素数据(N*24bit) | CRC32 |

组包状态机Verilog实现：

localparam IDLE = 3'd0; localparam HEADER = 3'd1; localparam SEQ_NUM = 3'd2; localparam LINE_DATA = 3'd3; localparam CRC_GEN = 3'd4; always @(posedge clk) begin case(state) IDLE: if(vsync) begin tx_data <= 32'h55AA_0000; state <= HEADER; end HEADER: begin tx_data <= {frame_seq, 32'h0}; state <= SEQ_NUM; frame_seq <= frame_seq + 1; end // ...其他状态转移 endcase end

3.3 UDP协议栈优化技巧

针对视频传输特点，我们对标准UDP协议栈做了三点改进：

1. Jumbo Frame支持：将MTU从1500字节扩展到9000字节，减少协议开销
2. 硬件CRC校验：在MAC层实现CRC32校验，降低CPU负载
3. 双缓冲机制：使用Ping-Pong Buffer避免DDR访问冲突

网络性能测试数据：

4. 系统集成与调试要点

4.1 Vivado工程架构设计

推荐采用分层设计：

顶层(top.sv) ├─ 视频输入子系统(hdmi_input) ├─ 图像处理子系统(video_pipeline) │ ├─ 缩放模块(scaler) │ └─ 色彩空间转换(csc) ├─ 网络子系统(eth_mac) │ ├─ UDP协议栈(udp_stack) │ └─ Tri-Mode MAC(mac_1g) └─ 存储控制器(ddr_ctrl)

时序约束关键点：

# GTX收发时钟约束 create_clock -name gt_txusrclk -period 8.0 [get_pins gt_quad/gt_txusrclk] set_clock_groups -asynchronous -group [get_clocks gt_txusrclk] -group [get_clocks sys_clk] # RGMII接口约束 set_input_delay -clock [get_clocks eth_rxclk] -max 2.0 [get_ports rgmii_rxd[*]] set_output_delay -clock [get_clocks eth_txclk] -max 1.5 [get_ports rgmii_txd[*]]

4.2 常见故障排查指南

1. 无图像输出：

   • 检查IT6802的LOCK信号是否拉高
   • 用SignalTap抓取HDMI解码后的VSYNC/HSYNC信号
   • 确认DDR3校准是否成功（查看MIG状态寄存器）

2. 网络丢包：

   • 用Wireshark抓包分析是否为CRC错误
   • 测量RGMII时钟与数据的相位关系
   • 调整PHY芯片的驱动强度寄存器

3. 图像撕裂：

   • 检查FDMA缓存的帧同步逻辑
   • 确认缩放模块的场消隐期处理
   • 调整UDP组包的时序参数

# 网络测试命令示例 ping -f -l 8000 192.168.1.100 # 测试大包连通性 iperf -c 192.168.1.100 -u -b 900M # 带宽测试

5. 上位机开发与性能优化

5.1 Qt视频接收端设计要点

采用双线程架构：

• 网络线程：专责UDP数据接收和组帧
• 显示线程：通过OpenGL实现YUV→RGB转换和渲染

关键性能优化：

// 零拷贝设计 QByteArray buffer; buffer.resize(9000); socket->readDatagram(buffer.data(), buffer.size(), &sender, &port); QImage image((uchar*)buffer.constData()+16, width, height, QImage::Format_RGB888);

5.2 延迟优化方案对比

在医疗内窥镜等超低延迟场景，推荐采用"直通模式"：

1. 关闭DDR帧缓存
2. 使用GTX通道直接转发原始数据
3. 在上位机端做图像处理
4. 实测端到端延迟可降至1.8ms

6. 工程移植与定制开发

6.1 跨平台适配指南

Zynq移植注意事项：

1. 在Block Design中添加Zynq Processing System
2. 将DDR控制器切换到PS侧
3. 配置AXI HP接口带宽（至少32bit@150MHz）
4. 修改FDMA的AXI接口为HP端口

Artix7成本优化方案：

• 用GTP替代GTX（速率降至3.2Gbps）
• 改用RGB565格式（节省50%带宽）
• 使用软核实现简易UDP协议栈

6.2 扩展功能实现

多路视频合成：

// 4分屏合成逻辑 always @(posedge clk) begin case({hcnt[9], vcnt[9]}) 2'b00: out_pixel = ch1_pixel; 2'b01: out_pixel = ch2_pixel; 2'b10: out_pixel = ch3_pixel; 2'b11: out_pixel = ch4_pixel; endcase end

HDR视频支持：

1. 配置IT6802输出16bit/通道
2. 修改缩放模块支持高动态范围计算
3. 在上位机端实现Tone Mapping

在完成基础功能后，建议通过以下测试验证系统可靠性：

• 连续72小时压力测试（视频源定时切换）
• 高温环境下（85℃）的长时间运行
• 网络抖动模拟测试（使用tc命令注入丢包）