基于改进的ORB算法与单应性矩阵的增强现实旅游技术

摘要

本研究提出了一种改进的增强现实旅游中的特征点匹配与三维配准方法，可提升对齐精度、稳定性和匹配准确性。该方法结合改进的ORB、LK光流法和优化的单应性矩阵，实现了更高的正确匹配率和配准精度，从而改善了旅游应用中虚实场景的融合效果。

摘要

本研究提出了一种改进的特征点匹配与三维注册方法，适用于增强现实旅游应用。该方法解决了复杂环境中对齐效果差、稳定性低以及特征匹配精度不高的问题。文中引入了一种针对旅游图像的改进特征点匹配方法，该方法将加速稳健特征（SURF）算法与改进的定向FAST和旋转BRIEF算法相结合。在该方法中，首先利用SURF算法检测特征点，并通过小波响应分析确定其方向；采用Lucas-Kanade光流法进行特征点跟踪，随后使用随机采样一致性算法剔除误跟踪点。此外，提出了一种基于改进单应性矩阵的增强现实旅游三维注册技术，以克服传统单应性矩阵在匹配精度和注册效率方面的局限性。通过与SIFT、SURF和原始ORB算法在多种图像变换（包括尺度、模糊、光照和旋转）下的对比实验，分析了所提方法的性能，采用正确匹配率和匹配时间作为评价指标。针对不同三维模型进行了三维注册的仿真测试，并在旋转变化条件下评估了注册精度和成功注册次数。结果表明，在尺度变化条件下，所提算法的平均正确匹配率分别比尺度不变特征变换算法、加速稳健特征算法和未改进算法提高了44.08%、36.51%和16.09%；在模糊变换条件下的正确匹配率分别提高了33.46%、19.65%和9.35%。所提三维注册技术在旋转变换下的平均注册精度达到98.74%。研究结果表明，本文提出的方法能有效提升虚拟场景与真实世界的融合效果，为增强现实技术在旅游行业中的应用提供了新思路。

引言

在快速发展的数字经济中，技术已成为推动文化与旅游协同进步的关键工具¹。近年来，增强现实（AR）技术在旅游、教育、医疗和工业等多个领域得到了广泛应用。AR是当前技术领域中的一个新兴方向²。在旅游领域，该技术能够将虚拟信息叠加到真实场景中，为游客提供沉浸式、交互式的体验。这项技术不仅能提升游客的旅行体验，还能创新旅游消费场景，推动文旅产业的数字化转型³。然而，在动态且非结构化的旅游环境中，AR技术的广泛应用仍受到诸多技术挑战的制约。现有的AR技术在实际应用中往往表现出鲁棒性不足的问题，其特征匹配精度低，虚拟与真实物体之间的对齐效果不佳，并且在尺度变化、光照改变和遮挡等复杂环境条件下稳定性有限⁴。这些局限性可能导致用户使用体验不佳，例如虚拟内容出现抖动、漂移或无法正确锚定，从而削弱沉浸感与真实感。因此，探索一种能够在真实场景中稳定运行的鲁棒且高效的旅游用AR技术，已成为当前的研究重点。作为一种快速特征点提取（FPE）与描述算法，带方向的FAST与旋转BRIEF（ORB）因其高效率和旋转不变性，被广泛应用于图像特征点提取中⁵。

Zhang 等人⁶提出了一种改进的 ORB-SLAM2 稠密地图特征点提取（FPE）方法，旨在提高效率并降低获取室内环境三维地图的成本。该方法通过渐近样本一致性实现特征点（FP）的高效提取，从而减少内存占用。研究发现，该方法可用于导航过程，具有更高的特征点提取精度和较高的跟踪效率⁶。Wu 提出了一种结合 ORB 与随机抽样一致性（RANSAC）的快速特征匹配算法，以解决大规模旋转对准误差大、对准率低、随机性强及稳定性差等问题。研究结果证实，该方法表现出较高的特征点匹配精度和强健的稳定性⁷。Chen 等人提出了一种结合改进 ORB 与 Lucas-Kanade（LK）光流（OF）算法的特征匹配方法，以解决图像特征匹配精度低的问题。该方法采用 Michelson 对比度法进行特征点提取（FPE），并利用四叉树结构对提取的特征点进行均匀化分布，以降低特征匹配的计算量。结果表明，该方法的特征点均匀性和匹配精度分别提升了 0.22% 和 50.47%⁸。Zuo 等人提出了一种用于全聚焦光场图像特征点匹配的改进球面算法，旨在提升图像特征点提取与匹配方法的准确性和鲁棒性。该方法通过优化传统 ORB 算法，增加了光场全聚焦图像的特征点数量并提高了提取精度⁹。Anggara 等人提出了一种在增强现实（AR）中融合彩色图与 ORB 检测器的特征提取方法。该方法首先利用基于特征的自然特征跟踪方法提取图像的散斑和边缘特征，随后使用 ORB 检测器将彩色图像转换为灰度图像，以提高特征检测效率。结果表明，该建议方法可有效提升特征提取效果¹⁰。

由于增强现实（AR）技术能够利用单应性矩阵（HM）精确地将虚拟数据与真实场景相结合，近年来该方法受到了广泛关注^11,12。Kim 等人提出了一种基于单应性矩阵的实时在线 AR 系统。该方法利用具备同步定位与地图构建功能的 3D 相机来追踪场景信息，并采用单应性矩阵填充图像源帧，以提升图像质量。结果表明，该方法可有效减少视觉不一致性和伪影，从而改善 AR 用户体验¹³。Clement 提出了一种基于三级滤波的 AR 跟踪方向增强特征描述方法。该方法利用单应性矩阵描述不同帧间目标的运动，以提高图像特征匹配的鲁棒性。研究结果显示，该方法在光照变化、模糊变化和视角变化条件下的重复性得分分别为 100%、100% 和 99%¹⁴。Liu 等人提出了一种基于单应性矩阵的遥感图像局部运动匹配方法，旨在消除图像特征的错误匹配。该方法通过单应性矩阵表达图像局部运动的一致性，并引入了一种重采样方法。研究结果表明，所提出的方法表现出更优的匹配性能¹⁵。

如上所述，实现稳健特征匹配与配准的技术追求，其根本动力在于将其应用于创造引人入胜的用户体验。为了将这一技术研究置于增强现实（AR）旅游研究的更广泛背景之中，有必要关注近期那些实证探讨AR对游客心理与行为影响的研究。例如，Zhu 等人采用结构方程模型，探究了AR旅游中真实性与叙事传输如何通过AR依恋影响口碑传播的机制。结果表明，AR依恋在真实性、叙事传输与口碑传播之间起中介作用，为文化遗产旅游营销提供了新视角¹⁵。与此同时，Ngan 和 Lei 分析了AR对体育赛事体验及重游意愿的影响。他们的研究指出，AR使用者表现出显著更高的认知参与度，且体验维度显著影响重游意愿，证实了AR在提升活动吸引力与沉浸感方面的有效性¹⁶。此外，Zhu 等人还利用故宫AR展览的调查数据，研究了游客在AR体验中的在场感对口碑传播（WOM）的影响机制。结果表明，在场感可对口碑传播产生积极影响，而真实性在其中发挥了重要的中介作用¹⁷。

综上所述，众多学者已针对基于ORB算法并结合单应性矩阵（HM）的增强现实（AR）技术开展了大量研究，并取得了优异成果。然而，ORB算法在尺度变化、光照变化和遮挡条件下，其特征点提取（FPE）仍存在鲁棒性差和效率低的问题¹⁸。此外，传统的单应性矩阵（HM）常因匹配精度低和配准效率不足而成为性能瓶颈。这导致在动态旅游环境中虚拟物体出现错位和不稳定现象。当前方法的性能与旅游场景中对稳定、沉浸式AR体验的需求之间仍存在一个关键且尚未解决的挑战。为应对这些持续存在的问题，并实现更稳定、更沉浸的旅游AR体验，本研究旨在提升特征点提取（FPE）与三维配准的有效性。本研究在理论上具有三项贡献。首先，提出了一种新的特征匹配框架，该框架结合了SURF检测器的尺度不变性与ORB描述符改进后的计算效率。通过小波响应确定特征方向，并利用Harris角点准则优化点集，进一步增强了该框架的性能。这为变换条件下的特征对应关系提供了更为鲁棒的理论模型，使其超越了简单的顺序处理。其次，通过引入虚实物体反向计算方法，对单应性估计过程进行了理论上的增强。该方法旨在克服传统单应性矩阵的局限性，为三维配准提供更稳定、更精确的投影模型。最后，通过系统性地整合这些改进模块，本研究提出了一种统一的理论方法，专门针对户外旅游场景的复杂性，以实现更优的虚实融合效果。

这种改进的技术对主要旅游利益相关者具有重要意义。它使目的地营销人员和旅游运营商能够开发出稳定且沉浸式的增强现实（AR）应用，作为独特的价值主张。对于文化遗产遗址管理者而言，该方法提供了一种可靠的工具，可在不损坏实物文物的前提下创建教育性叠加内容。最终，对于游客而言，该方法通过将虚拟信息与真实环境无缝、稳定地融合，直接提升了体验质量，消除了虚拟内容错位或抖动带来的困扰。因此，沉浸感显著增强，情境理解更加丰富，游客对旅游服务的整体满意度也随之提高。本研究的创新性体现在以下方面：（1）采用高斯滤波对图像进行平滑处理，并利用小波响应确定特征点（FP）的方向；此外，为提高特征点检测的准确性和稳定性，通过与Harris角点检测技术相结合，筛选出最优特征点。（2）引入RANSAC算法以剔除误匹配的特征点，从而进一步提升特征匹配的鲁棒性。（3）通过虚拟-真实物体反向计算方法对单应性矩阵（HM）进行优化，旨在解决传统单应性矩阵在特征点匹配精度和配准效率方面的局限性。

方案

本节首先提出一种结合SURF和改进ORB算法的旅游图像特征点匹配方法，以提高特征点匹配的鲁棒性。随后，研究提出一种基于改进霍姆莫格拉法（HM）的增强现实旅游三维注册技术，以增强虚拟信息与真实世界的融合效果。实验采用公开的图像数据集进行。具体而言，使用了牛津大学视觉几何组（VGG）数据集，该数据集包含尺度、模糊、光照和视角变化的图像序列，被广泛用于计算机视觉领域中特征匹配与注册算法的评估。使用该公开数据集无需伦理委员会审批。

结合SURF与改进的ORB算法用于旅游图像中的FP匹配

随着旅游业的蓬勃发展，增强现实（AR）技术在自动化旅游服务中的需求日益增长。ORB算法是一种高效的特征点（FP）检测与描述算法。AR技术已得到广泛应用¹⁹。然而，在旅游图像的特征点匹配过程中，现有的ORB算法存在对尺度变化鲁棒性差、特征匹配精度低以及耗时较长等缺陷²⁰。为提高匹配的准确性与鲁棒性，本研究提出了一种融合SURF与改进型ORB算法的鲁棒特征匹配方法。为实现尺度不变性，输入图像首先进行高斯滤波并构建图像金字塔。SURF算法用于检测具有尺度不变性的特征点，其方向由小波响应确定。通过采用Harris角点准则对初始特征点进行筛选，并保留最具显著性的特征点，从而提升特征质量。Lucas-Kanade光流法用于在连续帧间跟踪特征，RANSAC算法则用于剔除误匹配点。本研究所弥补的方法学空白并非简单地将SURF与ORB顺序应用，而是一种旨在克服标准混合方法在复杂旅游环境中特定局限性的新型融合策略。与传统的SURF-ORB方法（即使用SURF进行检测后直接应用ORB描述符）不同，本方法引入了两项关键改进：第一，对SURF定位的每个特征点，利用其小波响应重新计算方向，从而提供比标准基于Haar小波方法的SURF更稳健的方向估计；第二，也是更为重要的一点，不直接使用初始SURF特征点，而是通过Harris角点准则对其进行严格筛选，剔除位于平坦区域或边缘上响应值较低、缺乏显著性的点。

图像预处理

在旅游图像的预处理阶段，该研究从灰度图像中提取特征。为了进一步刻画图像的局部特征，该研究利用梯度分量对图像进行识别与分类²¹。公式（1）展示了其表达式。

 (1)

在公式（1）中，I(x,y) 表示图像在坐标 (x,y) 处的像素值。 表示图像在 (x,y) 处的梯度向量。 和 分别表示图像在 x 和 y 方向上的偏导数。T 表示梯度向量的转置。

特征点检测

通过梯度分量识别图像后，该研究利用 ORB 算法中的加速段测试（FAST）特征来检测图像的特征点（FP）。此外，采用二进制鲁棒独立基本特征（BRIEF）描述算法对这些特征点进行快速匹配²²。该算法的特征检测与匹配示意图如图1所示。

图 1：FAST 算法特征检测与 BRIEF 描述子算法之间特征匹配的示意图。 请点击此处查看该图的放大版本。

图1 展示了FAST和BRIEF算法的特征检测过程。 图1A 是使用FAST算法进行特征检测的示意图。采用一个由16个像素组成的圆形模板，通过比较中心像素周围区域的亮度，实现对图像中角点特征的快速检测。 图1B 是BRIEF算法中特征匹配的示意图。通过选取特征点周围若干像素对进行灰度比较，生成二值描述符，并采用暴力匹配法实现两幅图像间特征点的对应。该方法的改进在于首先使用高斯滤波方法，以平滑图像并抑制高频噪声；随后采用下采样方法降低图像的空间分辨率，从而在保留图像主要特征的同时减少计算复杂度。研究采用图像金字塔构建方法，结合上述两种技术，确保图像特征点具有尺度不变性²³通过低通高斯滤波器对图像进行平滑处理的表达式如公式（2）所示。

(2)

在公式（2）中，g_e(x,y) 表示高斯滤波函数。e 是高斯函数的标准差（SD）。exp 表示指数函数。通过高斯滤波构建的图像金字塔如图2所示。

图 2：通过高斯滤波构建的图像金字塔示意图。 请点击此处查看此图的放大版本。

图2展示了图像金字塔结构，其中通过高斯滤波和下采样逐步生成多个低分辨率图像。其中，高斯滤波通过卷积操作对图像进行模糊处理，从而降低图像中的高频噪声。作为此预处理阶段的视觉检查点，可显示生成的图像金字塔。需要注意的是，金字塔的每一层均呈现原始图像分辨率逐步降低的结果。由于应用了高斯滤波和下采样，图像模糊程度明显增加，细节信息相应减少。为了提高识别图像中特征点（FP）的效率，本研究采用SURF算法来定位图像中的这些特征点。该方法通过对特征点周围区域进行量化，并利用小波响应来确定特征点的方向。由于SURF提取的特征点中存在重复和无效点，其数量过多将降低目标图像（TI）特征的识别速度。因此，本研究采用Harris角点检测算法来识别最优的图像特征点²⁴。公式（3）给出了该算法的角点响应值。

(3)

在公式（3）中，H 表示 Harris 矩阵。u(x,y) 表示窗口的权重函数。I_x 和 I_y 表示像素点灰度值（GV）的大小。A 表示 Harris 角点的响应值。det H 和 traceH 分别表示 Harris 矩阵的行列式和迹。k 表示系数值。SURF 算法所选特征点（FPs）的方向示意图以及 Harris 角点检测算法的滑动窗口如图 3所示。

图 3：SURF 算法、特征点选择以及 Harris 角点检测算法滑动窗口的示意图。请点击此处查看此图的放大版本。

图3展示了SURF算法在图像中检测特征点（FPs）的组成结构。图3A展示了SURF算法中特征点方向选择的示意图。通过计算特征点邻域内Haar小波响应的主方向，确定特征点的旋转不变方向，通常用箭头或方向线段直观表示。图3B为Harris角点检测算法滑动窗口的示意图，展示了窗口在图像区域内移动的过程。通过计算窗口内像素的灰度变化来检测角点，响应值较高的区域被识别为角点。

特征匹配

在检测到图像特征点（FP）后，本研究采用LK光流法（LK OF）对已检测的图像特征点进行追踪。该方法通过追踪图像中特征点的运动，计算相邻图像帧之间的运动，从而实现视频序列中的特征点匹配。LK光流法在计算相邻图像帧间运动时，需满足像素灰度值（GV）恒定、小运动以及区域运动一致性等假设条件²⁵。考虑到计算效率对于实时增强现实（AR）旅游应用至关重要，因此本研究策略性地采用了Lucas-Kanade方法。在特定应用场景下，其假设条件可得到有效缓解。较高的视频采集帧率通常能确保帧间位移较小，从而满足小运动假设；尽管理想的灰度恒定条件难以完全满足，但连续帧之间的短追踪窗口可最大限度减少严重偏差。最重要的是，后续的RANSAC算法能够通过剔除离群点，有效处理因假设条件不满足而可能产生的追踪误差。因此，LK方法作为高效的初始追踪器，其输出结果经过严格验证，适用于需要在速度与鲁棒性之间取得平衡的实时系统。根据像素灰度值恒定的假设，其表达式如公式（4）所示。

（4）

在公式（4）中，I(x,y,t) 表示在时刻 t 位于位置 (x,y) 的图像像素灰度值。I_x 和 I_y 分别表示像素在 x 和 y 方向上的位移。i 和 j 表示像素点的光流分量。I_x、I_y 和 I_t 分别表示图像在 x、y 和 t 方向上的差分。区域运动一致性的假设由公式（5）计算。

(5)

在公式（5）中，I_tb 表示区域中第 b 个像素点在时间方向 t 上的偏导数。v x v 表示所选区域的大小。b 表示区域内所有像素点。综上所述，本研究采用 BRIEF 描述符对被追踪的特征点（FPs）进行匹配，并利用 RANSAC 算法剔除 ORB 误追踪的特征点。该方法组合有助于提高特征匹配的鲁棒性²⁶。图 4 展示了 LK 光流法的示意图。

图 4：LK 光流法的示意图。请点击此处查看此图的放大版本。

图4展示了LK流光流法在毛发追踪中的实现流程，该方法通过迭代优化相邻帧之间的特征点（FP）位移。为定性验证特征匹配算法的效果，可将模板图像与测试图像之间的匹配特征点进行可视化叠加。正确匹配的点对通常以绿色线条连接或用绿色标记表示；相反，RANSAC算法可将误匹配的异常点以红色标记显示。这使得在进行定量分析之前，能够直观地评估匹配的鲁棒性与准确性。本研究采用RANSAC算法计算图像中对应特征点的单应性矩阵（HM），从而剔除错误匹配的点对，仅保留准确匹配的特征点。在此情况下，RANSAC算法的单应性矩阵及尺度参数表达式如公式（6）所示。

（6）

在公式（6）中，M 表示同源矩阵（HM），m 表示矩阵 M 中的元素，S 表示尺度参数。(x, y) 和 (x', y') 分别表示模板图像和测试图像中特征点（FP）的位置。在获取测试图像特征点的坐标后，本研究对这些特征点与匹配特征点之间的距离进行比较分析。公式（7）表明，该方法还更新迭代次数，并确定内点的数量。

E = log(1 - c)/log(1 - ηⁿ) (7)

在公式（7）中，E 表示迭代次数，c 表示置信水平，η 表示内点比例，n 表示样本数量。则迭代次数 E 的标准差表达式如公式（8）所示。

（8）

在公式（8）中，S_d(E) 表示标准差（SD）。上述对 ORB 算法的改进表明，其可为后续的三维配准技术提供高质量的特征匹配基础。该改进在复杂场景中表现出更高的准确性和鲁棒性。这些场景包括尺度变化、光照变化和遮挡等。

改进的 ORB 与 SURF 结合增强单应性变换用于增强现实旅游的伪代码如下。

算法 1：结合 SURF 与增强单应性的改进 ORB 算法用于增强现实旅游
输入：旅游图像序列 I，三维虚拟模型 M
输出：完成虚拟物体配准的增强现实渲染场景
// 步骤 1：图像预处理
1: I_gray ← 转换为灰度图(I)
2: I_smooth ← 高斯滤波(I_gray, 核大小=5×5, σ=1.2)
3: 金字塔 ← 构建图像金字塔(I_smooth, 层数=4, 缩放因子=1.2)

// 步骤 2：特征点检测
4: keypoints_SURF ← SURF_检测(金字塔, Hessian 阈值=1000)
5: 对 keypoints_SURF 中的每个 kp 执行
6: 方向 ← 计算小波响应(kp)
7: 结束循环
8: keypoints_Harris ← Harris 角点滤波(keypoints_SURF, k=0.04)
9: 描述子 ← 改进的 ORB_描述(keypoints_Harris)

// 步骤 3：特征匹配
10: keypoints_tracked ← Lucas-Kanade 光流法(keypoints_Harris, 窗口大小=15×15)
11: matches ← 暴力匹配器(描述子)
12: 内点, H ← RANSAC(匹配点, 最大迭代次数=2000, 重投影阈值=3.0)

// 步骤 4：基于改进单应性的三维配准
13: H_improved ← 计算改进的单应性(内点, 相机内参)
14: R, t ← 分解单应性(H_improved)
15: 姿态 ← 构建相机位姿(R, t)// 步骤 5：增强现实渲染
16: virtual_object ← 加载三维模型(M)
17: scene_rendered ← OpenGL_渲染(virtual_object, 姿态, 背景=I)
18: 返回 scene_rendered

基于改进的 HM 的增强现实旅游三维配准技术

通过FP匹配方法对旅游图像特征进行精确匹配后，需进一步将其应用于增强现实（AR）技术。三维注册技术是实现AR系统的基础技术，它通过目标旅游图像在真实世界中的投影来计算相机的位姿信息，从而实现虚拟物体与真实场景的精确匹配与融合²⁷。单应性矩阵（HM）能够从用户视角将虚拟物体映射到真实世界中，增强虚拟信息与真实世界的融合效果，同时可解决标识物部分被遮挡时的虚拟现实注册问题。然而，HM在实际三维注册技术中的注册效率较低，易导致虚拟物体错位，从而引起虚拟物体显示不稳定²⁸。因此，本研究提出一种基于改进型单应性矩阵的三维注册技术。利用第一阶段获得的精确特征点对，通过结合相机内参的虚实对象反向计算方法，计算出增强的单应性矩阵。该方法有效解决了传统方法在动态场景中注册效率低及虚拟物体错位的问题。该矩阵被分解为旋转矩阵和平移向量，以确定相机位姿。OpenGL渲染引擎根据位姿参数将三维虚拟模型精确投影至实时视频流中，纹理映射与光照模型则确保了物理一致性融合效果。

三维配准与可视化

为了实现三维配准技术，该研究首先需要构建一个针孔成像模型，以将三维真实世界映射到二维图像上。该模型的表达式如公式（9）所示。

(9)

在公式（9）中，X、Y 和 O 表示相机坐标系（CS）的三个轴。(x, y, f) 表示坐标向量。f 表示焦距（FL）。λ 表示比例因子。如图5所示，本研究通过图像坐标系与相机坐标系之间的变换关系，分析针孔相机的成像特性。

图 5：针孔成像模型以及空间点与平面投影点之间的关系。 请点击此处查看此图的放大版本。

图5展示了小孔成像的基本结构。图5A为小孔成像模型的示意图，描述了通过相机中心的小孔将三维场景投影到二维成像平面上的基本几何结构，反映了光线传播和透视投影的原理。图5B进一步说明了空间点通过相机中心投影到成像平面上对应点的过程，阐明了焦距、像点坐标与物点坐标之间的比例关系。在构建小孔成像模型之后，该研究进一步采用单应性矩阵（HM）建立模板图像与相机拍摄的真实场景图像之间的映射关系。假设两幅图像 I₁ 和 I₂ 的特征匹配点位于同一平面上，该平面需满足公式（10）所示的表达式。

N^Z P + d = 0  (10)

在公式（10）中，P 表示平面，N 表示平面 P 的法向量，d 表示平面 P 到原点的距离，Z 表示平移向量。对于旋转和平移，该研究采用奇异值分解方法进行提取，表达式如公式（11）所示²⁹。

（11）

在公式（11）中，p₁ 和 p₂ 分别表示图像 I₁ 和 I₂ 中阴影特征匹配点对的像素坐标。r₁ 和 r₂ 分别表示图像 I₁ 和 I₂ 中像素点的缩放因子。K 表示相机的内参矩阵。R 表示旋转矩阵。Harris 匹配（HM）算法具有较高的计算复杂度，且容易出现误匹配（FP 匹配错误）问题。因此，本研究通过采用虚实物体逆向计算方法³⁰ 对其进行改进。改进后的 HM 表达式如公式（12）所示。

（12）

在公式（12）中，M' 表示改进的内参矩阵（HM）。f_x 和 f_y 分别表示相机在 X 轴和 Y 轴方向上的焦距（FLs）。u 和 v 表示主点坐标。γ 表示倾斜参数。该方法的物理变换如公式（13）所示。

（13）

在公式（13）中，T' 表示物理变换矩阵。t_x、t_y 和 t_o 表示三个坐标轴的旋转分量。[R|Z] 表示世界坐标系与相机坐标系之间的变换矩阵。在增强现实（AR）技术的实现中，模板与真实行进场景图像之间映射关系的表达式如公式（14）所示。

（14）

在公式（14）中，I_s 和 I_d 分别表示参考图像和失真图像上的点。该研究进一步计算了改进型 HM 的配准精度，以评估该方法的配准有效性，如公式（15）所示。

（15）

在公式（15）中，P_re(M') 表示改进型 HM 的配准精度。(x_a, y_a, o_a) 表示实际的特征点。(x_b, y_b, o_b) 表示配准后的特征点。n 表示匹配点对的组数。图6 展示了升级版 HM 的示意图与其照片之间的对应关系。

图6：图像的映射关系及改进的单应性矩阵（HM）示意图。 请点击此处查看此图的放大版本。

如图6所示，模板图像与目标场景图像（TI）之间存在明显的对应关系。在应用改进的直方图匹配（HM）方法后，一个关键的视觉检查点是将模板图像扭曲并配准到目标场景图像上。投影模板的边缘应与目标场景图像中的相应特征紧密对齐。在最终的增强现实（AR）渲染过程中，需目视检查虚拟3D模型，确保其持续且准确地锚定在真实场景中的正确位置和方向。当相机视角变化时，不应出现明显的抖动或错位现象。

该研究通过增强的“若非”影响矩阵实现了模板图像的映射。为实现虚拟物体与实际旅游场景之间的实时交互，研究采用OpenGL技术渲染三维模型，以构建增强现实（AR）旅游系统。该技术首先建立OpenGL上下文，加载虚拟旅游元素的三维模型，并进行纹理映射与光照计算。随后，利用摄像头捕获的实时视频流作为背景，为虚拟物体的渲染提供参考依据。通过单应性矩阵（HM），将虚拟物体准确地叠加到真实世界中，使其在正确的位置和姿态下与真实场景融合。在AR旅游系统中，视频通过OpenCV库获取旅游实时视频³¹。图像处理采用优化的ORB算法对视频帧中的特征进行识别与匹配。在三维注册模块中，研究采用改进的单应性矩阵（HM）实现虚实融合。最终的输出与交互通过OpenGL技术呈现。AR旅游技术的实现过程如图7所示，展示了AR旅游技术的整体实现流程。图7为AR旅游技术的系统实现流程图。系统启动后，首先通过摄像头捕获实时视频流，并从中提取目标图像。随后进入特征处理阶段，依次完成特征点的提取与描述，以构建图像特征。若特征点匹配成功，则系统进入三维跟踪注册阶段，计算相机位姿参数。该参数与虚拟素材库中的三维模型结合，实现虚实融合，并将最终融合后的AR效果实时呈现给用户。若匹配失败，则采用RANSAC算法剔除误匹配点，并重新进入特征处理阶段，以确保系统的稳定性与鲁棒性。整个过程形成了从图像采集、特征处理到三维注册、虚实融合及交互显示的完整闭环，阐明了AR旅游系统在动态场景下实现实时、稳定虚实融合的技术路径。

图7：增强现实旅游技术实现流程的示意图。 请点击此处查看此图的放大版本。

实验设置与材料

为确保实验的可重复性，本研究中使用的硬件规格、软件环境和数据集均在表1中明确列出。

类别	项目	规格 / 版本
硬件	摄像头	Logitech C920 HD Pro Webcam
	计算机处理器	AMD Ryzen 7 3700X 8核处理器
	计算机内存	32 GB RAM
	操作系统	Windows 10 (64位)
软件与库	编程语言	C++
	开发环境	Microsoft Visual Studio 2019
	计算机视觉库	OpenCV 4.5.1
	图形API	OpenGL 4.6
	仿真平台	Visual Studio Simulation Tools
数据集	主数据集	Oxford Dataset

表1：实验设置：硬件、软件和数据集规格。

在 OpenCV 中，使用 GaussianBlur() 函数应用高斯模糊。使用 buildPyramid() 构建图像金字塔。通过 SURF.create() 初始化 SURF 检测器，并将 Hessian 阈值设置为 400。使用 cornerHarris() 计算 Harris 角点响应，随后应用非极大值抑制以筛选关键点。LK 光流通过 calcOpticalFlowPyrLK() 函数计算，该函数实现了金字塔式 Lucas-Kanade 方法。使用 findHomography() 函数进行单应性估计，方法标志设置为 RANSAC，以利用指定的重投影阈值。所得的单应性矩阵（HM）随后与 perspectiveTransform() 一起用于验证内点。在 OpenGL 渲染管线中，将单应性矩阵转换为相机位姿，并通过 glLoadMatrix() 设置。3D 虚拟模型以 .obj 文件形式加载，并使用标准 OpenGL 变换命令（glTranslate、glRotate）进行渲染。来自 OpenCV 的实时视频流通过 glTexImage2D() 作为纹理传递给 OpenGL，从而实现最终的增强现实（AR）叠加效果。本研究中所用算法的关键参数在 表 2 中明确给出。

算法 / 组件	参数	数值
Gaussian Filter	卷积核大小	5 × 5 像素
	标准差	1.2
LK 光流法	窗口大小	15 × 15 像素
RANSAC	最大迭代次数	2000
	重投影阈值	3.0 像素
ORB 特征检测器	最大特征点数量	1000
	尺度因子（图像金字塔）	1.2
	金字塔层数	4
SURF 特征检测器	Hessian 阈值	1000
Harris 角点检测器	孔径大小	3
	k 值	0.04

表2：用于可重复性的关键算法参数。

结果

结合SURF与改进ORB算法在FP匹配旅游图像中的性能表现

为了建立可靠的性能基线并进行对照比较，将所提出的算法与三种广泛使用的特征匹配算法进行对比评估：尺度不变特征变换（SIFT）、加速稳健特征（SURF）以及原始的未改进的ORB算法。这些算法作为对照组，可用于直接评估所提出改进带来的性能提升。

本研究首先分析了所提出算法在图像尺度变换下的特征点正确匹配率（CMR）和匹配时间（MT），并与现有的先进特征匹配算法进行了比较。橙色线条代表SIFT算法。紫色线条代表SURF算法。蓝色线条代表ORB算法。绿色线条代表所提出的算法。图8展示了实验结果。在图8A中，SIFT算法在多次试验下、图像尺度比变换情况下的特征点平均CMR为39.67%。SIFT算法与未改进的ORB算法的平均CMR分别为47.24%和67.66%。相比之下，所提出算法的平均CMR为83.75%，分别比SIFT、S...

讨论

该研究提出了一种结合SURF与改进ORB算法的旅游图像特征点匹配方法，旨在提高特征匹配的准确性。为进一步实现目标物体与真实场景之间的精确匹配与融合，研究还提出了一种基于改进HM的增强现实（AR）旅游三维注册技术。在三维注册方面，实验结果表明，增强现实准确率（ARA）达到98.74%，在旋转变换条件下三维注册的平均成功注册次数（SRs）为68次，说明改进HM的三维注册成功率与精度更高。模型生成模块和虚实融合模块的处理时间分别为9.36毫秒和4.12毫秒，显示交互模块为2.28毫秒。用户对AR效果的评分介于76.68分至96.24分之间，平均评分为88.57分，表明系统在实时性与用户体验方面均表现良好。本研究验证了一个核心前提：通过系统性地解决完整技术流程中的关键瓶颈，并注重模块间的协同作用与数据质量传递，可显著提升移动AR系统的性能。这一论点得到了充分实验的支持。改进的特征匹配为高质量三维注册提供了干净的输入数据，同时，优化的注册规则将高质量的二维匹配结果转化为稳定的三维融合效果。

除了在旅游领域的直接应用外，本研究提出的方法学进展还推动了计算机视觉和增强现实（AR）更广泛领域的发展...

材料

本文使用的材料清单

姓名	公司	目录编号	评论
AMD 锐龙 7 3700X 8 核处理器	AMD	Ryzen 7 3700X
摄像头	Logitech	C920 HD Pro 网络摄像头
计算机内存	/	32 GB RAM
Logitech C920 HD Pro 网络摄像头	Logitech	C920
Microsoft Visual Studio 2019	Microsoft	2019
OpenCV	OpenCV 基金会	4.5.1
OpenGL	Khronos Group	4.6
牛津数据集	牛津大学	/
编程语言	/	C++
Visual Studio 仿真工具	Microsoft	包含在 VS 2019 中
Windows 10 (64 位)	Microsoft	10 (64 位)