具有增强时间一致性的高效多尺度梯度域图像与视频去雾滤波

摘要

本方案将保最小值下采样与梯度域加权导向滤波相结合，以增强光散射模型的实时去雾能力。通过计算源图像暗通道中亮度最高的前0.1%像素的RGB值的平均值，得到大气光值，并采用基于梯度的相关因子以保证视频处理的一致性。

摘要

去雾在计算机视觉中至关重要，用于恢复因大气散射而影响的图像清晰度。现有方法存在计算成本高、梯度细节丢失以及在视频应用中出现闪烁伪影等问题。为提高效率和视觉质量，本文提出一种基于多尺度梯度域加权引导滤波的去雾技术，适用于图像和视频。为估计大气参数并降低计算复杂度，采用了最小值保持下采样（Minimum Preserving Subsampling, MPS）方法。随后，通过梯度域加权引导滤波器（Gradient-domain Weighted Guided Image Filter, GWGIF）进行迭代上采样，优化透射率图，保留大量梯度特征，从而增强纹理和边缘的保持能力。针对视频去雾，引入了基于梯度的相关因子（Gradient-Based Correlation Factor, GCF），与现有方法相比显著减少了闪烁伪影。实验评估结果表明，本方法具有优越性能，感知图像质量评估指标（Perception-based Image Quality Evaluator, PIQE）得分为26.98，自然图像质量评估指标（Natural Image Quality Evaluator, NIQE）得分为2.78，无参考图像空间质量评估指标（Blind/Referenceless Image Spatial Quality Evaluator, BRISQE）得分为20.18，反映出更优的感知质量。此外，所提出的方法在视频去雾中保证了高时间一致性，均方误差（Mean Square Error, MSE）偏差仅为0.003，适用于自动驾驶、监控和遥感等实时应用场景。

引言

雾霾是一种大气现象，当光线被烟雾、水滴或尘埃颗粒散射时，会导致远处物体更难以看清。由于雾霾引起的图像退化对计算机视觉应用具有不利影响^1,2,包括视频分析、自动驾驶车辆和监控系统。为了提升计算机视觉的性能，在处理的第一步中，必须采用去雾策略以从图像中去除雾霾成分。“去雾”指的是用于恢复模糊或不可用图像清晰度的一系列方法。近年来，已开发出多种图像去雾技术。去雾问题可将颜色通道在位置 x 处的目标（有雾）图像 I^hazy(x) 表示为如下公式（1）所示，该公式引自 He 等人³。

    1

J^clear(x) 表示透明图像，而 L_atm 和 t_map 分别表示全局大气光和介质透射率图。被相机传感器接收到的光线部分由 t_map 距离 d(x) 表示，该距离根据 He 等人³中场景与相机之间的距离计算得出，如公式 (2) 所示。

    2

此处，β 代表空气散射的传输系数。

在去雾过程中，从 I^hazy(x) 恢复 J^clear(x) 的过程如公式（3）所示，该式由公式（1）重排后得到。其中，t 表示大气光透射率，也称为透射系数。

    3

暗通道先验（DCP）³ 模型是该领域中最著名的大气模型之一。在基于物理模型的去雾技术中，DCP 是应用最广泛的方法，其假设在无雾图像中，至少存在一个颜色通道包含强度极低的像素。该先验被用于通过 DCP 估计透射率图，并从公式（1）中恢复场景辐射度。然而，该方法耗时较长，且会导致图像中天空区域过度饱和。

本研究的动机源于在雾霾显著降低图像质量的计算机视觉应用中提升可见度的需求。该方法不仅加速了去雾过程，还确保了图像细节（如边缘和纹理）得以保留。此外，该研究将其去雾算法扩展至视频领域，解决了视频处理中的一个关键问题。在不同光照条件下，图像的可见度有时会发生变化，这在自动驾驶和监控等众多应用中带来了另一项挑战。

通过对多个公开可用的图像和视频数据集进行大量实验，验证了所提出的去雾算法。这些数据集包含合成环境和真实世界中的雾化场景，能够在不同条件下进行全面评估。在多种真实世界视频序列（Riverside、Crossroad、Haze road、Ship）⁴ 以及具有不同雾浓度的静态图像⁵ 上的实验验证，采用公认的评估指标（FADE、NIQE、PIQE、BRISQUE）⁶ 进行评价，并与九种最先进的方法进行对比，结果表明该算法在保持实时性能的同时，适用于汽车、监控、 maritime（海上监控）和移动计算等领域。通过主观视觉比较和客观质量指标对性能进行了评估，证明该算法在准确性和计算效率方面均具有与当前先进方法相媲美的竞争力。

本研究设计用于实时运行，并已在分辨率达1920 × 1080像素的图像和视频上进行了测试。为确保高效处理，所有实验均在配备Intel i3-6006U CPU（2.00 GHz）和12 GB内存的工作站上进行。尽管该方法在多种真实场景中表现出良好的性能，但在雾气极为浓密的条件下，由于透射率估计变得不可靠，其准确性可能会下降。这些细节凸显了所提出方法在实际部署中的实用性与局限性。

为克服多种挑战，本研究提出了一种基于多尺度梯度加权导向滤波（GWGIF）的新型去雾图像与视频方法。通过引入MPS方法，本研究提出了一种计算高效的透射率图估计技术，该技术是去雾过程中的关键因素。为解决闪烁伪影问题，研究中引入了一种新颖的梯度一致性滤波（GCF）方法，以保持连续帧之间的时间连贯性，从而在确保计算效率的同时实现高质量的去雾效果。本研究推动了更鲁棒的图像与视频增强技术的发展。图1展示了使用MPS方法计算得到的透射率图，图2展示了结合MPS与GCF的所提方法。本工作的创新性在于开发了一种基于多尺度梯度加权导向滤波的实时图像与视频去雾算法，有效解决了传统去雾方法中的计算瓶颈问题。具体而言，本研究的主要创新贡献包括：（1）MPS技术，在降低计算负载的同时保留关键的暗区以实现精确的透射率估计；（2）GWGIF，在透射率图优化过程中专门保留清晰的边缘；（3）优化的大气光估计方法，仅聚焦于最亮的前0.1%像素；（4）用于视频去雾的GCF方法，通过梯度信息衡量帧间相似性；（5）一种时间优化系统，通过在相似视频帧之间重用计算实现实时处理。

该方法在实现实时性能的同时，去雾质量可达到或优于当前先进算法的水平，文章中大量实验结果已证实了这一点[图3，图4，图5，图6 和 图7]。

方案

本研究使用了合成或自然场景图像，未涉及人类受试者，因此无需伦理审批。

该图像去雾协议基于标准计算环境开发，旨在提升雾化图像的清晰度与可见性。工作环境为 MATLAB⁷。该方法遵循系统化的处理流程，包括雾度估计、优化及图像复原。通过在保留重要细节的同时逐步改善图像质量，该方法可获得清晰且视觉效果良好的结果。该方法已在广泛使用的数据集上进行了测试⁸，并采用标准图像质量评估指标进行评价，验证了其有效性及适用于学术或科研应用的潜力。下文各节提供了该协议的重要说明与公式、材料与设备，以及所提出方案的具体步骤。同时，也对评估参数进行了说明。

1. 材料与仪器

实验使用 MATLAB Online（24.2.0.2871072 (R2024b) Update 5）开发，并在配备 Intel i3-6006U CPU（2.00 GHz）的系统上执行。图像数据集^5,8 所用实现方法源自参考文献。该方法包括使用5 × 5高斯滤波器进行双线性插值，以及采用MPS算法估计透射率图⁹，并在适当的计算基础设施上通过 GWGIF 滤波器进行优化。本研究中使用的所有材料和设备的详细信息及链接均列于 材料表.

2. 实验装置

实验设置包括在支持基于矩阵的图像处理与可视化的科学计算环境中实现所提出的图像和视频去雾方法。采用标准基准数据集^5,8，这些数据集由已有文献中引用的雾化图像和视频¹⁰构成，用于评估该方法的性能。该算法遵循多尺度处理框架，利用图像金字塔和基于梯度的相关性来引导自适应透射图的计算与优化。对于视频序列，以固定时间间隔提取帧，并使用GCF判断是否复用或重新计算透射图。去雾结果的有效性通过广泛认可的图像质量评价指标进行评估，包括NIQE、PIQE、BRISQE、FADE和MSE，以确保对恢复质量进行主客观综合评价。

3. 评估所用参数

为了进行客观评估，采用了五种质量度量指标：（1）FADE（雾感知密度评估器）⁸；（2）NIQE（自然图像质量评估器）¹¹；（3）PIQE（基于感知的图像质量评估器）¹²；（4）BRISQUE（无参考/盲测图像空间质量评估器）¹³；（5）连续帧之间的MSE（均方误差）¹⁴。

4. 单幅图像与视频去雾方法

1. 转换并构建图像金字塔
   单幅图像去雾首先将输入的彩色图像转换为灰度图像（）。图像金字塔 {, ...,, 然后通过递归下采样 I 构建 }^模糊的 直到最粗略的层级 I_L 实现后，最大尺寸不超过 320 像素。这意味着 L 由 max(W, H) 的要求决定 <= 320，其中 W 和 H 分别表示金字塔结构中最粗层级 L 的宽度和高度。L 值表示在金字塔结构中达到所需最粗层级所需的下采样操作次数，如 图2.
2. 传输图估计
   透射图显示了未发生散射并到达相机传感器的光的百分比。透射图能够准确反映图像的深度信息，因其是随深度连续变化的函数。透射图 t_地图利用环境光计算以重建无雾图像 J^清晰 (x）。本研究的主要目标是开发一种计算高效的透射率估计算法，以加速去雾过程，因为研究发现透射图的计算是最耗时的步骤。具体而言，在低分辨率下估计透射率并假设透射图由恒定部分组成后，将结果进行上采样，如图所示 图2.
   1. 基于多尺度方法在MPS上进行初始传输图估计
      初始传输图 来自图像的图像 ，该值已在最粗尺度 L 上通过对输入的雾化图像进行下采样计算得到。采用 MPS 方法⁹ 开启 ，图像现已被划分为 5 × 5 大小的方形块，如[图1。此外， 通过从每个 5 × 5 区块中选取最小值，获得一个下采样图像，其尺寸为 (M/m) × (N/m)，如 Kansal 等人论文中的公式 (4) 所示。⁹. 其中，min 表示用于计算块内最小强度值的数学函数 生物信息学_i.
      4
      最粗尺度的暗通道图像 4 然后通过对 如Kansal等人研究中的（5）所示⁹.
       5
      其中 ω 为大小为 3 × 3 的窗口。初始透射率图 最终通过以下公式估算：
      6
      其中，w 是一个常数因子（通常 0).
      基于MPS的透射图通过保持各图像块内的局部最小值，确保在受雾霾严重影响的区域实现更优的对比度和细节恢复。然而，线性变换²² 基于该方法生成的透射率图在去雾效果上较为均匀，但准确性较低，因为它无法区分雾浓度不同的区域。
   2. 传播机制的优化
      自最初的传播图谱以来仅在图像金字塔的最粗层级（L）上估计光流，因此必须对其进行上采样以匹配原始输入图像的分辨率。采用简单的双线性上采样 B_向上(·) 用于获取全分辨率的透射率图。此外，为了保留透射率图中的边缘细节， 必须进行优化。采用Van等研究中应用的引导滤波器和梯度引导滤波器。¹⁴ 和 Kansal 等人⁹，会在透射图中产生模糊伪影，导致纹理细节和边缘信息丢失，从而最终降低去雾性能。为解决这一问题，采用梯度域加权引导图像滤波（GWGIF）¹⁵ 该方法已用于有效保留图像细节。最后，优化后的透射率 来自王等人，如下所示¹⁶.
       7
      GWGIF 通过保留边缘结构并避免标准引导滤波器通常引入的模糊伪影，对初始透射图进行优化。以下是实现 GWGIF 函数所遵循的步骤¹⁷.
      输入：
      ：初始传递图（低分辨率或粗略）
      ：原始模糊图像（用作参考）
      输出：
      
      步骤1：对初始透射率图进行上采样
      调整大小 以匹配 I 的大小^模糊的
      步骤2：转化后的I^模糊的 转为灰度
      我^模糊的 = rgb2gray(I^模糊的)
      步骤3：应用梯度域加权引导滤波器，如公式(7)所示
      获得精细的传输图 
      该过程利用 Sobel 算子从引导图像中计算梯度幅值，生成基于梯度的权重，并将其融入引导滤波方程中，以增强对边缘敏感的平滑效果。输出结果为优化的透射率图，显著提升了去雾质量和细节保留能力，如图所示 图4.
3. 大气光估计
   在基于模型的图像去雾方法中，全局大气光至关重要。正如张 et al. 所述¹⁸，较低的大气光值会产生更明亮的去雾图像，而较高的大气光值则会产生最暗的去雾图像。本研究提出的方法从暗通道图像中估计大气光）从输入的模糊图像中获得。然后，选取暗通道图像中亮度最高的前0.1%像素所对应的RGB值，以确定大气光的最终值，如He等给出的公式（8）所示。³其中，γ 表示最亮的前 0.1% 像素。这些像素通常对应于图像中雾最浓的区域。从这些选定的像素中，提取其在原始图像中的对应 RGB 值并取平均，以确定全局大气光 L_atm.
    8
   大气光 L_atm 通过从暗通道图像中选取最亮的前0.1%像素来计算。具体操作步骤如下：
   输入：
   模糊图像 I^模糊的 RGB图像
   输出：
   大气光 L_atm （一个三元素的RGB向量）
   步骤：
   步骤1：计算图像的暗通道：
   暗通道图像为 .
   步骤2：找到最浑浊不透明的像素
   将暗通道展平为一维数组
   将像素值按降序排列。
   选择最亮的前0.1%像素（即暗通道中数值最高者 → 高浓度雾霾）。
   步骤3：在输入图像中选取候选像素点
   在选定的暗通道前0.1%像素中，确定其在原始雾化图像 I 中对应的像素^模糊的.
   对于每个选定的像素，计算其强度（例如，RGB 值的和或范数）。
   步骤4：设定大气光L_atm
   上述选定的最亮像素的RGB值被用作大气光的估计值。
   上述步骤可系统地估算大气光L_atm.
   上述步骤可系统地估算大气光 L_atm 通过利用暗通道先验来识别图像中受雾霾影响最严重的区域。该方法排除明亮、清晰的区域，专注于最暗的前0.1%区域（指示浓雾存在），从而确保对全局大气光进行稳健且准确的估计，这是单幅图像去雾算法中有效去除雾霾的关键参数。
   1. 模糊图像恢复
      最后，找到大气光L_atm 并优化传播图谱 ，无 haze 图像 J^清晰(x) 通过使用 Van 等人所述方法获得¹⁴，由公式(9)给出的配方
      9
      其中 γ 为透射率的下限（设为 0.05）
      如图所示 图1所提出的透射图优化方法能有效保留图像的复杂特征，并实现无雾图像恢复。
4. 模糊视频恢复
   本研究提出的视频去雾方法在单幅图像去雾算法的基础上，引入了时间一致性考量，以防止闪烁伪影的产生。作者指出，若对视频的每一帧独立应用单幅图像去雾算法，将破坏帧间的时间连续性，导致视觉上的不一致。为解决这一问题，研究开发了一种新颖的视频去雾算法，该算法可量化连续初始帧之间的时间一致性，并利用该信息自适应地估计后续帧的透射率图和大气光值。
   1. 闪烁伪影
      由于物体和/或相机的运动，视频连续帧中同一图像区域可能在不同的像素坐标位置被捕获。此类运动导致同一位置的透射值发生变化，从而产生闪烁伪影。运动估计技术（如光流估计）¹⁹可用于追踪可移动物体的位置并解决这些问题。然而，运动估计方法通常需要较高的计算复杂度。因此，一种称为GCF的简单概率模型被用来替代显式计算帧间运动。该模型的基础是两帧连续图像之间的差分图像。
   2. 基于梯度的相关因子
      的 基于梯度的相关因子（GCF） 基于像素梯度测量两个连续视频帧之间的相似性。图像/帧 I₁ 我₂ 高度相似，如高相关性值（I₁，我₂) ≈ 1，表明像素 (x, y) 在两帧中均表示重复的对象或场景内容。相关性值较低 (I₁，I₂≈ 0 表示图像和帧之间不相同，很可能是由于运动或遮挡所致。由于模糊图像的对比度和清晰度较低，无法利用图像的像素值来观察两帧之间的相关性。
      模糊图像常因光线的散射和吸收而整体呈现灰白状，导致像素强度普遍升高且对比度降低。因此，连续两个模糊帧之间的大多数像素趋于相似，使得基于像素的直接相关性分析失效，因为雾化效应掩盖了场景的真实细节。在此情况下， GCF 变得更为显著。与易受雾气严重影响的像素级相关性不同，GCF 关注的是梯度，即相邻像素之间强度和颜色过渡的变化。这些梯度受图像整体亮度的影响较小，能更有效地捕捉边缘和轮廓等结构信息。因此，在雾天条件下，GCF 相较于基于像素的相关性因子（CF），能够更可靠地衡量两帧之间的相似性，如图所示 表1.
      相关性  连续视频帧之间 I^K 我^K-1如下。
      10
      其中，帧中的像素数量为 N，且 σ = 10。 和 对应于视频帧 I 的梯度图像^K 我^K-1计算GCF的一个简单步骤是：
      输入：第 I 帧^K 和 IK^-1.
      每一帧与其前一帧之间的梯度被计算，并且（10随后应用该方法计算CGF，进而用于确定当前帧所需的透射图和大气光；也可用于计算初始帧，并对后续每一帧重复上述步骤。GCF用于计算两帧连续图像之间的相关性。若相关性较高，则表明两帧连续图像几乎相同；否则表明相关性较低。
   3. 基于GCF的大气光与透射率图估计决策
      GCF 在决定如何处理大气光以及在去雾过程中估计透射图方面起着关键作用。GCF 通过基于连续视频帧的梯度来衡量它们之间的相似性，从而帮助评估场景在帧间的变化程度，同时考虑运动或遮挡等因素。
      当GCF值较高（具体而言大于0.85）时，表明当前帧与前一帧高度相似。在此情况下，可认为前一帧的透射率图仍有效，因为场景未发生显著变化。沿用前一帧的透射率图有助于保持帧间一致性，并避免不必要的重复计算，从而提高计算效率。
      然而，如果 GCF 值低于 0.5，则表明帧之间存在显著差异，可能是由于场景中的运动或其他动态变化所致。在此类情况下，依赖前一帧的透射图将导致不准确的结果。因此，大气光 L_atm 需要重新计算以适应新的场景条件。此外，还需计算新的透射图以更准确地反映当前帧的内容。此重校准过程确保去雾处理能够考虑场景的最新特征，从而准确恢复图像的清晰度和对比度。
      在GCF的引导下，该决策过程使去雾算法能够动态适应帧间相似性的变化，从而实现更精确、可靠的图像复原。通过根据观测到的相关性自适应调整透射率图和大气光，该方案有效应对动态场景和变化的雾度条件，提升了去雾图像的质量。

5. 单幅图像与视频去雾方法的逐步总结

以下是基于图2（提供了算法的初始框架）引导的单幅图像与视频去雾方法的逐步概述。（1）将输入的雾化图像加载至系统中进行处理；（2）将图像转换为灰度图，并以因子2反复下采样，得到序列{，，…，，}. 选择最粗尺度的图像，使其满足 max(W, H) <= 320，其中W和H表示最粗尺度L下的图像宽度和高度；（3）将最粗尺度图像划分为m × m的块，此处m取值为5；（4）计算每个块中的最小强度，得到尺寸为的下采样图像；（5）通过对应用3 × 3的最小值滤波器，得到最粗尺度下的暗通道图像；（6）使用公式估计初始透射图，其中本研究中w取值为0.95；（7）利用GWGIF(.)对透射图进行优化，得到；（8）通过取雾化图像暗通道（）中最亮的前0.1%像素位置对应的RGB值的平均值，估计大气光L_atm；（9）利用光散射模型恢复去雾图像J^clear(x)

；（10）对于视频，以固定时间间隔提取帧；（11）计算连续两帧之间的基于梯度的相关因子（GCF），以衡量帧间相似性；（12）如果< 0.5，则为当前帧重新计算透射图；若GCF≥0.85，则复用前一帧的透射图；（13）使用与图像相同的步骤对每一帧进行优化，并恢复去雾后的帧；（14）采用NIQE¹¹、PIQE¹²、BRISQE¹³、FADE⁸和MSE¹⁴等指标评估输出质量。

结果

定性与定量结果在评估一种方法或实验时可提供互补的见解。定性结果侧重于主观评估，通常通过视觉比较、感知评价或专家意见来分析方法的有效性。它们有助于说明实际场景中的改进效果，但可能受到人类感知的影响。相比之下，定量结果依赖于客观的数值指标，例如准确性以及 NIQE¹¹、PIQE¹²、BRISQE¹³、FADE⁸ 和 MSE¹⁴ 等，以严格的统计方式衡量方法的有效性。全面的评估通常结合这两类结果，确保该方法不仅在数值上表现良好，而且在实际应用中也能带来有意义的改进。

单幅图像去雾的定性结果分析
在图5中展示了所提出方法在数据集中的列车、有阴影的雾天场景、堆叠物、树木、城市景观和南瓜等有雾图像上的表现。该对比展示了各算法对测试图像生成的去雾结果。比较评估...

讨论

本文提出了一种高效的多尺度梯度域滤波方法，用于图像和视频去雾，并通过增强时间相干性的策略解决了基于物理模型的去雾算法中的计算瓶颈问题。该方法利用图像金字塔结构，高效估计大气光和透射率图，其核心创新在于：在金字塔最粗糙的层级上执行MPS透射率图估计，并在上采样过程中结合GWGIF滤波，以保留重要的图像细节。对于视频处理，该方法引入了GCF考虑，通过保持相邻帧之间透射率值的一致性，减少闪烁伪影。下文详细阐述了实现该方案的关键步骤。

这些步骤至关重要，因为它们直接影响去雾的准确性、结构细节的保留以及视频中时间一致性的维持。使用最小值保持下采样（Minimum Preserving Subsampling, MPS）进行初始透射率图估计（步骤 4.2.1）在准确估计场景深度方面起着关键作用，尤其是在远处和重度雾化区域。与传统的线性方法相比，MPS 能更有效地增强深度敏感性。接下来，使用梯度域加权引导图像滤波（Gradient-domain Weighted Guided Image Filtering, GWGIF）对透射率图进行优化（步骤 4.2.2），在上采样过程中对于保留边缘和纹理信...

材料

本文使用的材料清单

姓名	公司	目录编号	评论
数据集	滑铁卢大学视觉与图像处理实验室	5http : //ivc.uwaterloo.ca/database/Dehaze/	图像与视频去雾算法评估
基于梯度的加权引导滤波器（Matlab 实现）	Wang  等	16 https://arxiv.org/pdf/2211.16796	高效的透射图优化
MATLAB（含图像处理工具箱）	版本：MATLAB Online (24.2.0.2871072 (R2024b) Update 5)	https://www.mathworks.com/products/matlab.html	所提方法与基线算法的实现
处理器	Intel i3-6006U CPU (2.00 GHz)	https://www.intel.com/content/www/us/en/products/sku/91157/intel-core-i36006u-processor-3m-cache-2-00-ghz/specifications.html	运行算法
基线方法的源代码	Kim 等 3、Van 等 14、Yang 等20、  Ren 等21、  Chen 等 23、Li B 等26	3https://github.com/metinsuloglu/Haze-Removal	基于学习的去雾方法评估
		14https://github.com/viengiaan/MGF dehazing
		20https://github.com/legendongary/Proximal-Dehaze-Net-CPU
		21https://github.com/rwenqi/GFN-dehazing
		23https://cchen156.github.io/code/robustdehaze.zip
		26https://github.com/Boyiliee/EVD-Net
		4 http : //live.ece.utexas.edu/research/f og/f adedef ade.html