面向自动驾驶应用的基于现场可编程门阵列的行人检测框架设计与实现

摘要

本研究论文展示了在用于自动驾驶应用的现场可编程门阵列硬件上实现的实时行人检测算法。该算法结合了方向梯度直方图（HoG）与支持向量机（SVM）分类器，实验结果在速度、功耗和资源利用率方面均表现出较高的效率。

摘要

自动驾驶为应对交通事故导致的死亡人数上升问题提供了一种有前景的解决方案。自动驾驶汽车包含多种功能，但行人检测能力至关重要，且具有挑战性，与监控、人员追踪和态势感知等多种实时场景密切相关。准确识别行人十分困难，因为行人的外形、姿态和位置各不相同，可能穿着不同类型的衣物，有时部分被遮挡，或与周围物体融为一体。本文聚焦于基于一种流行的硬件平台——现场可编程门阵列（FPGA）Ultra 96 v2，实现面向自动驾驶汽车的实时行人检测。该研究在FPGA板上采用基于方向梯度直方图（HOG）与支持向量机（SVM）分类器相结合的方法进行行人检测，并利用高级综合（HLS）工具实现。该系统已在静态图像和实时视频上进行了测试验证。结果表明，以Ultra 96 v2为代表的先进FPGA平台显著提升了系统性能指标。系统工作时钟频率为150 MHz，资源占用不到可用资源的一半，功耗约为2.5 W。此外，系统报告的行人检测准确率接近95%，其他检测评估指标也表现良好，如精确率（78.6%）、召回率（88.3%）和F1分数（83.1%）。综上所述，所开发的系统能够实现实时行人检测，有望显著推动智能与安全交通环境的发展。

引言

城市化发展与智慧城市兴起是全球关注的热点话题。各国都在致力于城市建设，力求构建安全、舒适的生活环境^1,2。然而目前观察到，随着人口增长和道路拥堵加剧，因驾驶疏忽及能见度不佳导致的道路交通事故死亡率正急剧上升。一个有前景的解决方案是全球范围内自动驾驶车辆的出现，这已激发了大量创新^1,2,3,4，研究人员正努力开发完全自动驾驶的车辆，使乘客能够安心放松，无需担忧驾驶问题。自动驾驶车辆的发展需求源于这样一个事实：即使经验丰富的驾驶员，在恶劣天气条件下也可能面临压力、决策困境、疲劳或环境感知困难，而这些问题均可能导致交通事故。自动驾驶汽车旨在避免行驶过程中的事故，优化发动机资源使用，并遵守交通法规，这无疑将提升交通运输的安全性与效率^2,4。自动驾驶车辆配备了多种功能、传感器和系统，能够精确感知周围环境，避免碰撞和事故，因此已成为实现安全、可靠交通的有前景解决方案^1,2,3,4。

在自动驾驶汽车所集成的所有功能中，行人检测是最关键的功能之一。一个可靠的行人检测系统能够显著降低道路交通事故的死亡率^5,6,7,8，因为这些事故中的大多数受害者都是行人。行人检测旨在识别道路上的个体，并避免与之发生碰撞。这一功能不仅对自动驾驶汽车有益，还可广泛应用于人群监控、人员识别与跟踪等其他领域^9,10,11。该检测过程的关键在于检测的速度与准确性。必须快速而准确地检测出行人，以最大限度地缩短响应时间。然而，行人检测面临巨大挑战：道路上的行人可能穿着各异、外貌多样、姿态不一，并可能因恶劣天气或遮挡而难以被发现^{10,11,12,13,14}。此外，行人自身可能并不遵守交通规则，而人类行为无法被完全控制，因此最有效的应对策略是为车辆配备足够的智能，以应对各种不当行为并避免伤亡事故的发生。本研究工作的完整流程以及行人检测硬件实现背后的动机，可从下文的图1中清晰理解，该图阐明了行人检测的必要性、其多种应用领域、所面临的挑战，以及在FPGA上的实现方式，以充分利用其提供的优势。

图1：行人检测。行人检测的需求、行人检测的主要应用领域、行人检测所面临的技术挑战，以及在FPGA板上实现行人检测的流程。请点击此处查看此图的放大版本。

为了识别道路上的行人，目前已存在多种算法。该总体任务主要可分为两个子任务：第一步是从输入图像中提取特征，仅保留具有显著性并能传达相关信息的特征，同时忽略冗余特征。为了在图像中有效识别出人类或行人，这些特征必须能够表明场景中存在人体轮廓^13,14。在完成特征提取后，需将这些特征送入分类器，以判断所识别的特征是否对应于人类。因此，该算法需要包含特征提取与描述阶段，随后进行分类，以确定输入场景中是否存在行人。目前已有多种可用于此目的的算法。然而，迄今为止在行人检测领域最广泛接受的方法仍是方向梯度直方图（HoG）与支持向量机（SVM）分类器的结合^12,13,14,15。尽管已有大量软件层面的技术进步实例，但最终目标是将其实现移植到兼容的硬件平台上，以便集成至应用系统中实现实时运行。因此，当前的研究重点在于硬件实现。可以说，有必要开发一种适用于行人检测系统的硬件实现方案，使配备适当硬件的摄像头能够部署于车辆上，实时识别道路上的行人。在考虑适用于此类实现的硬件时，现场可编程门阵列（FPGA）是最常采用的选项之一，因其具备诸多优势，包括缩短设计周期、可扩展性强、易于修改、可重构性高，以及更低的能耗与功耗^{15,16,17,18,19,20,21,22}。

现场可编程门阵列（FPGA）开发板不断发展，现已广泛应用于复杂的高级计算机视觉任务，涵盖从基础图像处理到目标检测、增强现实以及深度学习等多个领域^20,21,22。目前，多种高性能FPGA开发板提供了卓越的架构能力，能够满足这些复杂应用所需的大量计算处理需求。若将自动驾驶汽车中的高级功能（如行人检测）实现在此类硬件平台上，则这些平台在快速原型开发与性能分析方面具有重要价值；经过优化后，所实现的算法还可移植到实际的专用集成电路中，集成至最终系统。

十多年来，已有大量关于在不同FPGA平台上采用HoG和SVM方法实现行人检测的重要出版物。表1总结了2015年至2025年间该领域的相关文献^{15,16,17,18,19,20,21,22,23,24}，重点关注图像分辨率、吞吐量或每秒帧数（FPS）、分类器类型，以及各论文的关键亮点或主要贡献。

参考文献	FPGA 平台	图像分辨率	分类器	主要亮点 / 贡献
15	Xilinx Zynq	640×480	AdaBoost	实现了实时 FPGA 处理；资源高效；采用二值化进行优化；检测准确率高。
16	Terasic 的 DE1-SOC 开发板	640×480	SVM	高性能 HOG 特征提取器；集成了 SVM；单尺度检测；低延迟流水线。
17	Altera DE2-115	640×480	AdaBoost	在多个视角下评估性能；实现了 HOG 与 AdaBoost 的 FPGA 部署；实现实时行人检测。
18	Intel Stratix V	640×480	SVM	多尺度行人检测；适用于 FPGA 的 HOG 与 SVM 流水线设计；突出展示了准确率与硬件效率之间的权衡。
19	Zynq UltraScale+ MPSoC	3840×2160	SVM	支持实时超高清处理；采用流水线式 HOG 与 SVM 架构；基于 SoC 的 FPGA 实现；定点数优化；可扩展的架构设计。
20	未指定	未指定	SVM	检测准确率达到 >95%；实现实时 FPGA 处理；充分利用并行性；为行人检测提供了详细的 HOG 与 SVM FPGA 设计方案。
21	Zynq 7000 FPGA	1920×1080	SVM	为 HOG 与 SVM 设计了高吞吐量流式架构；支持高清分辨率；适用于 FPGA 加速的高效流水线。
22	Ultra96 (rev1)	240×320	SVM	采用高级综合（HLS）实现 FPGA 设计；可检测红色交通信号灯；在 891 个区域中计算概率；延迟范围为 153,838 至 19 个时钟周期。
23	Xilinx Zynq-7000 FPGA	640 × 480	HOG + SVM	在 FPGA 上实现了基于 HOG-SVM 的行人检测，相较于 CPU 处理，在降低功耗的同时实现了实时性能；展示了适用于嵌入式视觉应用的优化特征提取流水线。
24	Xilinx Virtex-6 FPGA	640 × 480	定点目标检测器（Haar-like 特征）	提出了一种基于定点运算的高吞吐量 FPGA 加速方案，可在保持检测精度的同时降低计算开销；相比 CPU 实现，速度提升达 15 倍，并实现了高效的硬件资源利用。

表1：基于现场可编程门阵列（FPGA）的行人检测研究文献综述（2015–2025年）。

表1总结了在行人检测领域已有大量文献报道，而硬件实现是研究人员关注的重点方向。显然，目前已有多种先进的深度学习与机器学习技术被应用于行人检测任务，例如基于卷积神经网络（CNN）的检测器（如YOLO）、基于Transformer的架构等。这些方法在检测精度上甚至优于传统的方向梯度直方图（HoG）算法；然而，当考虑硬件实现时，由于算法复杂度较高，先进算法会导致巨大的资源占用^23,24，这可能影响其他性能指标。此外，研究发现，由于复杂性的增加，在处理速度方面，传统HoG算法反而略有优势^24,25。同时观察到，先进方法在硬件上实现时功耗更高^24,26。因此，本文所开展工作的目标是在FPGA硬件平台上采用传统的HoG与支持向量机（SVM）框架实现行人检测，并在实时嵌入应用中取得准确率、速度、资源占用和功耗之间的良好权衡。从表1可以明显看出，当分析基于HoG和SVM的研究工作时，目前仅有少数出版物利用了近年来推出的基于Zynq UltraScale+ MPSoC（多处理器片上系统）的FPGA开发板²⁷来探索这些开发板的潜力；从架构角度看，这类开发板已实现演进，为高端实时计算机视觉应用的实现提供了巨大潜力。目前仅有少量研究在FPGA开发板上实现了完整的实时行人检测系统，且多数研究集中于中间任务的高效实现或优化改进。此外，大多数实现依赖硬件描述语言在FPGA开发板上完成整个系统的构建，而较少利用高层次综合（HLS）工具的优势来加速设计周期。本文展示了面向自动驾驶应用的FPGA开发板上实时行人检测系统的设计与实现。本研究采用HoG与SVM框架，用于对静态图像、视频或实时摄像头输入进行行人检测。所使用的硬件为一款前沿且近期发布的FPGA开发板——Ultra96 v2，该板属于先进的FPGA架构，是计算机视觉、图像处理、机器学习、边缘计算等应用的强大平台²⁴。Ultra96 v2是一款集成了基于Arm架构的AMD Xilinx Zynq UltraScale+ MPSoC的开发板²⁷。该开发板包含处理系统（PS）部分，由基于ARM的CPU核心组成，负责项目中的软件层面任务；以及可编程逻辑（PL）部分，支持定制化的硬件加速功能^20,21,22。这两个部分协同工作，增强了混合系统的功能性：其中PS部分负责控制及与外部组件的交互，而PL部分则承担实际的数据处理逻辑。

方案

本研究采用的实现流程基于在 FPGA 板上使用 HoG + SVM 进行行人检测，并利用了高层次综合的优势，如下方图2所示。

图2：在FPGA板上实现行人检测的设计流程。第1阶段：在HLS工具中使用HoG+SVM实现行人检测算法，并生成IP核模块。第2阶段：为实际FPGA实现使用HoG+SVM的行人检测算法，并生成比特流文件。第3阶段：使用生成的比特流文件对开发板进行编程。请点击此处查看该图的放大版本。

1. 在HLS工具上使用HoG和SVM进行行人检测

1. 根据下载操作所用系统的属性，下载相应的 Python 集成开发环境（IDE）。
   注意：本研究中使用的是 Python 3.10 版本。
2. 执行一个 Python 脚本，以使用 HoG 算法和 SVM 分类器运行训练模型。脚本开始时从数据集中加载正样本和负样本。
   注意：使用 INRIA 数据集¹¹。
3. 提取窗口大小为 64 × 128 的 HoG 特征。
4. 将 INRIA 数据集中的训练数据和测试数据按 80/20 的比例进行划分，并进行随机打乱以确保可重复性。
   注意：在划分数据前，使用 Python 函数对数据集进行随机打乱。为确保可重复性，每次划分时均在代码中固定一个随机种子值。
5. 使用带线性核函数的 C 支持向量分类（SVC）SVM 进行训练。
6. 提取权重向量和偏置项。
7. 将 SVM 的权重和偏置保存为定点 Q8.8 格式，以便在 FPGA 上实现。
   注意：转换方法是将原始生成的每个浮点数值乘以 256（2⁸），然后将结果转换为整数。
8. 通过另一个 Python 脚本测试训练好的模型，并调整正则化参数 C，直到准确率达到 95% 以上。
   注意：优化后得到的正则化参数为：C = 0.05。
9. 打开 HLS 工具，创建一个新项目，并将器件型号选择为 xczu3eg-sbva484-1-e。
10. 在高级综合（HLS）工具中使用 C++ 等高级语言编写行人检测代码。
11. 在代码中编写三个不同的 C++ 脚本：一个用于实现 HoG 特征描述符和 SVM 分类器，另一个用于测试平台（testbench），以提供测试图像输入并保存输出图像，第三个为头文件，用于声明代码中使用的参数。
12. 在 HoG 特征计算代码部分，将图像调整为 640 × 480 大小，并采用滑动窗口架构，窗口大小为 64 × 128。对每个窗口，计算每个重叠的 8 × 8 像素块的梯度幅值和方向。
    注意：必须通过滑动窗口机制扫描整幅图像，以确保覆盖图像的每一个区域，从而识别出各种可能尺寸的行人。
13. 在 HoG 特征描述符代码的另一部分，将计算得到的梯度信息传递给 SVM 分类器。编写代码，将提取的特征与分类器权重进行匹配，并与阈值比较，以判断检测到的特征是否属于人体。
14. 在 HLS 工具中点击 Run C Simulation，借助测试平台对代码进行仿真，以验证代码功能的正确性。
15. 向代码提供不同的输入图像，并检查输出图像中检测到的行人结果。
16. 点击 Run C Synthesis，对代码进行综合，由工具将代码映射为硬件描述语言，并生成时序和资源利用率报告。
    注意：工具将自动打开 HLS 综合报告。该报告提供了在选定 FPGA 平台上实现所编写任务所需的预估时钟频率，以及资源使用情况的估算值。这些数值仅为估计值，实际参数需在 FPGA 板卡上实现后才能确定。
17. 点击 Export RTL，导出用于行人检测的 HoG 算法的知识产权（IP）模块。
    注意：该 IP 模块将在后续实现阶段中使用。

2. 编程 FPGA 板

1. 打开FPGA编程工具并创建一个新项目。选择器件型号为 xczu3eg-sbva484-1-e 并创建一个新的区组设计。
   注意：该框图旨在建立 FPGA 板上 PS 与 PL 部分之间的集成。所采用的通信协议为高级可扩展接口（AXI）协议。
2. 搜索 IP 目录 在工具中找到后将其打开。
3. 通过在步骤 1.17 中添加导出的 RTL IP 路径来创建用户仓库。
4. 在 新块设计 窗口，现在右键单击并选择 加入IP所有IP地址都将可见，包括工具提供的以及用户添加的仓库。
5. 加入 Zync Ultrascale 来自仓库的PS模块。
   注意：此模块反映了系统的PS部分，负责生成所需的时钟信号，并通过基于AXI协议原理运行的AXI互连模块，提供用于连接导入的HoG IP的主端口和从端口。
6. 加入8 HoG IP核，因为系统将同时处理8个窗口，以利用FPGA板提供的并行性优势。
7. 添加一个 处理器系统复位 模块，同时也控制着为图中每个模块提供的时钟和复位信号。
8. 加入两份 axi_smart connect 用于连接HoG IP与Zync PS模块的连接模块。完整的模块连接示意图如图所示 图3.
   注意：如图所示 图3设计所需添加的所有模块均已清晰显示。 图3 从工具中捕获，显示每个模块的内部端口以及不同模块端口之间的互连情况。该模块是主要设计部分，负责建立 FPGA 板上 PS 与 PL 部分之间的接口。
9. 按照要求完成连接后 图3，点击 验证设计.
   注意：验证基本上是检查缺失的连接或断开的连接，这些问题可能会在后续阶段导致故障。
10. 点击 合成 然后 实施设计 在过量的情况下l 在功能框图验证成功后。
    注意：综合会将设计的模块框图映射到 FPGA 板上。此步骤将报告任何可能表明设计无法在硬件上实现的违规项。
11. 该工具还将生成与时序、资源利用率和功耗相关的报告。请仔细检查这些报告，以确认是否存在任何时序违规，并分析所设计系统的性能。
12. 点击 生成比特流文件 这将生成对 FPGA 开发板进行编程所需的 .bit 文件。

图 3：使用 HoG + SVM 导入 IP 实现行人检测的模块图。 请点击此处查看此图的放大版本。

3. 在 FPGA 开发板上的最终实现

1. 获取 FPGA 开发板，并将包含正确镜像文件的 SD 卡插入开发板上的卡槽。
2. 同时将开发板连接到计算机。
3. 以 SD 卡模式启动 FPGA 开发板，以启用其上的 Python 编程^21,22。
4. 在将开发板连接至 Wi-Fi 后，访问其上的 Jupyter 平台。
5. 将一个网络摄像头连接至开发板。
6. 编写 Python 代码，导入生成的位文件，并实现访问摄像头图像的功能。
7. 在代码中编写脚本，使图像通过 PS 部分写入 FPGA 开发板的内存，并传递至 PL 部分进行处理。
   注意：开发板的 PL 部分对应于 HoG IP 模块，通过这些内存地址访问图像像素，完成处理后输出检测得分。
8. 在同一 Python 脚本中编写适当的代码，读取处理后的图像并在计算机屏幕上显示。
   注意：至此，整个设计已完成，系统已准备好部署于实际应用场景。本研究中使用的所有代码均已作为补充编码文件上传（补充文件 1 [Script_1_train_test.py]、补充文件 2 [Script_2_HLS_hog.cpp]、补充文件 3 [Script_3_HLS_test_bench.cpp]、补充文件 4 [Script_4_HLS_consts.h]、补充文件 5 [Script_5_jupyter_code.txt]）。

结果

在HLS上实现行人检测
图4展示了使用HoG + SVM进行行人检测时在HLS工具中的仿真结果。将包含行人的输入图像作为测试输入提供给代码，输出则显示检测到的行人。图像分为两个部分：在第一部分检测结果中，同一个行人周围反复出现多个边界框；而在第二部分图像中，重叠的边界框被移除并抑制，仅保留主要的检测框。

图 4：HLS 工具的仿真结果。（A、B）两幅不同的输...

讨论

本研究在基于Zynq UltraScale+ MPSoC开发板的先进FPGA硬件上，成功实现了利用HoG + SVM算法的实时行人检测系统²⁴。结果表明，传统的人体检测HoG算法¹¹检测准确率接近95%，且仅占用板载FPGA一半的资源（LUT、FF、BRAM、DSP），为集成更多处理任务预留了充足的资源空间。在分析整个实现方法时，可发现其中涉及多个关键步骤。其中一个主要步骤是使用合适的训练数据集对SVM模型^18,19,24进行训练，以有效实现行人检测，并从中提取权重用于FPGA编程。训练代码将反映性能准确率，且需通过正则化参数仔细调整检测阈值，以达到接近95%的准确率。训练中选用的参数包括自定义的HoG描述子，窗口大小为64 × 128，块大小为16 × 16，单元格大小为8 × 8，方向区间数设为9。目前，训练使用的是INRIA数据集

材料

本文使用的材料清单

姓名	公司	目录编号	评论
Python	Python	版本 3.10
Ultra 96 V2 FPGA 开发板	Xilinx	2018 年推出	用于实现行人检测算法的硬件实现平台
Vivado	AMD	2019.2	用于将行人检测算法编程至 Ultra 96 v2 FPGA 开发板的 FPGA 编程工具
Vivado HLS	AMD	2019.2	高层次综合工具，用于对本文中的行人检测代码进行高层次编程，以导出知识产权核（IP）