利用自适应机器学习算法实现云计算环境中的信息风险预警与网络安全态势感知

摘要

该论文提出了一种基于机器学习（ML）的新型解决方案，用于基于云系统的自适应网络安全，该方案结合了分层多标签分类和动态信任评估系统，以提高威胁检测的准确性并减少误报数量。

摘要

本研究提出了一种面向云计算环境的网络安全态势感知与风险预警新框架，该框架融合了自适应机器学习（ML）、分层多标签分类（HMC）以及基于云模型的动态信任评估机制。新兴网络攻击（如零日漏洞利用、分布式拒绝服务（DDoS）和僵尸网络）所具有的复杂性、多样性和实时性，对传统的基于规则和静态的检测方法构成了重大挑战。为应对这些挑战，我们开发了一种基于软件定义网络（SDN）的有效云架构，利用 Ryu OpenFlow 控制器和 OpenFlow 交换机，实现链路信息的实时采集、动态调度以及可扩展、可靠的数据传输。所提出的分层分类框架可将多类问题分解为多个二分类任务，缓解样本不平衡的影响，并提升对低频攻击（如用户到根权限攻击（U2R））的识别能力。集成学习技术（包括 AdaBoost 和 Bagging）进一步提高了对细粒度攻击类型的检测准确率。在 DDoS 数据集、云流量数据以及 Mininet 和 EstiNet 仿真环境中的实验结果表明，ML-HMC-信任机制相结合的方法显著提升了检测精度，降低了误报率，并支持实时响应。这些结果验证了将自适应学习、分层分类与动态信任评估相融合，可为大规模云平台的安全防护提供一种鲁棒且可扩展的解决方案。

引言

随着云计算技术在各行业的广泛应用，信息系统中的数据规模和数据量正在迅速增长，网络威胁也变得愈发复杂、隐蔽和动态^1,2。传统的基于规则和静态模型的安全防御机制，在面对不断变化的攻击策略、零日漏洞以及大规模分布式攻击时，已无法满足实时检测与精准预警的需求³。因此，利用自适应的机器学习算法，充分整合云计算平台中的分布式数据处理能力与智能分析能力，实现对网络安全态势的全面感知和对信息风险的有效预警，已成为当前信息安全领域面临的关键挑战⁴。该研究不仅对完善现有安全防护体系具有重要的理论意义，同时也为保障国家关键信息基础设施和企业核心数据安全提供了有力支撑⁵。

在云计算环境中实现网络安全态势感知与信息风险预警面临多重挑战：云平台汇聚的数据类型繁多、来源复杂，导致数据预处理、特征提取与融合任务日益艰巨；面对不断增长的网络流量和快速变化的攻击场景，系统需在极短时间内做出响应，实时检测与预警已成为技术瓶颈；正常流量与攻击流量的数量差异极大，传统算法在处理小样本类别（如U2R、网络攻击等）时准确率较低，存在较高的误判风险；在复杂的网络环境中，信任关系受多种因素影响，具有随机性和不确定性^6,7。基于固定阈值的传统信任评估方法难以反映真实状态，且易受异常数据干扰。为应对这些多维度限制，本研究提出一种集成化框架，协同融合自适应机器学习、分层多标签分类以及基于动态云模型的信任评估机制。该技术体系应用于SDN驱动的云环境，不仅超越了渐进式优化，更实现了对低频攻击的细粒度识别、信任度的实时自适应调整以及可扩展的态势感知能力，而这些功能是现有方法尚未能同时实现的。

云计算环境产生海量、高度动态且异构的网络流量，导致传统入侵检测系统（IDS）难以准确识别复杂的少数攻击类型，例如U2R和R2L。现有的基于深度学习（DL）的IDS方案虽然提升了检测准确率，但仍存在计算开销高、实时响应速度慢，以及对网络实体之间不确定或动态演变的信任关系处理能力差的问题。此外，当前大多数模型采用扁平化分类方式，缺乏细粒度、分层决策机制和动态信任评估能力。这些局限性导致在大规模云环境中，尚缺乏能够同时实现实时检测、准确识别少数攻击类别以及可靠进行信任感知风险评估的入侵检测系统，形成关键的技术空白。

在现有的网络安全态势感知与信息风险预警研究中，许多研究采用K近邻（KNN）和支持向量机（SVM）等方法对网络流量进行分类与检测。这些算法具有计算效率高、易于实现的优点，尤其适用于对大量数据进行初步筛选^8,9。然而，其主要不足体现在多个方面：在面对云环境中大多数正常流量和少量攻击样本时，这些传统机器学习方法往往忽略少数类别的信息，导致对细粒度攻击（如U2R、网络漏洞攻击等）的识别率较低；单一模型通常对噪声和数据异常值敏感，缺乏适应动态变化攻击场景的能力，容易出现过拟合或泛化能力不足的问题^10,11。

近年来，深度学习方法（如多层感知机（MLP）、卷积神经网络（CNN）、循环神经网络（RNN）、长短期记忆网络（LSTM）和门控循环单元（GRU））在网络安全领域得到了日益广泛的应用。凭借深度神经网络强大的特征学习能力和非线性映射能力，这些方法在检测准确率方面显著优于传统机器学习方法，并增强了对复杂攻击行为的捕捉能力¹²。然而，这些方法对计算资源和训练数据量有较高要求。尤其是在云计算环境下的大数据流量背景下，其训练开销和实时推理速度仍有改进空间。在识别样本数量较少的类别时，由于数据不平衡问题，深度学习模型会因类别偏差而导致对某些细粒度攻击（如U2R、僵尸网络）的检测率较低¹³。为了弥补单一模型在处理数据不平衡和多类别攻击识别方面的局限性，一些研究提出了基于集成学习的解决方案，例如Bagging和Boosting，通过融合多个分类器的决策来提升整体预测准确率¹⁴。同时，分层多类别分类（HMC）架构将多类别分类问题分解为多个二分类子问题，从而实现对样本较少类别的更精细识别。然而，集成模型在部署时常常面临计算资源占用高、响应时间增加等问题，特别是在云计算实时监控系统中，实时性要求进一步加大了系统资源的压力¹⁵。

针对网络中动态信任关系评估的问题，一些研究引入了云模型理论，通过描述各实体信任属性的模糊性和随机性，构建信任隶属云，并利用云滴、熵、超熵等指标进行定量评估¹⁶。在面对实时更新的网络信任数据时，现有云模型方法的更新速率和计算效率可能难以满足高频动态预警的需求；该模型对评估数据高度敏感，异常数据或噪声信息可能对整体信任评估产生显著干扰，影响后续的风险预警决策。

针对当前研究在检测精度、实时性、数据均衡处理和信任评估等方面存在的诸多不足，本文提出了一种新的防御体系，该体系综合采用自适应机器学习算法、分层多分类策略以及云模型信任评估方法，用于云计算环境下的网络安全态势感知与信息风险预警¹⁷。

该研究利用云计算技术解决智能船舶网络的实时网络安全问题¹⁸。提出了一种多传感器节点框架，用于检测数据中的恶意攻击，并采用自执行防护策略节点来拦截威胁。实验结果表明，病毒入侵检测与防御率达到85%-95%，误报率（False Positive Rate）为2.56%，显著优于其他算法。然而，该方法在实际部署中需要较高的计算资源，并受到云基础设施的限制。Aslan 等人¹⁹提出了一种基于行为的智能恶意软件检测系统，适用于云计算环境。该系统在虚拟机上生成了恶意软件数据集，并结合选定特征，利用基于学习和基于规则的检测代理对恶意软件与良性样本进行分类。在10,000个程序样本上的评估显示，该方法性能优异，检测率提高，误报率降低。尽管如此，该方法在应对持续变化的恶意软件变种时存在可扩展性问题，且在大规模和实时的云部署中面临挑战。

尽管这些研究做出了重要贡献，但更详细的比较表明，大多数现有解决方案未能解决基于云环境中的实时态势感知或动态信任模型的假设与需求。传统的机器学习技术假设特征边界在空间上是固定的，因此在类别不平衡和高度动态的流量动态方面表现不佳^8,9,10。深度学习模型具有出色的特征提取能力，但计算资源消耗高，导致推理过程在实时监控中速度缓慢且不切实际^12,13。集成方法和基于层次化马尔可夫模型（HMC）的方法虽然更准确，但需要更高的延迟和资源开销，目前尚未在大规模云环境中部署^14,15。与此同时，基于云模型的信任评估技术能够较好地捕捉不确定性，但对噪声数据仍高度敏感，且在高频攻击流下无法高效更新信任值^16,17,18,19。即使是近期的基于云的入侵检测系统（IDS）框架，也缺乏对实时检测和信任感知决策的强有力集成支持^20,21。这些限制共同凸显了对一种高效、统一且具备信任机制的入侵检测框架的迫切需求。本研究通过在支持软件定义网络（SDN）的云架构中，集成自适应机器学习、HMC 和基于云模型的动态信任评估方法，克服了上述局限性，实现了实时检测、提升对少数类别的识别准确率，以及具备不确定性感知的风险评估。

本文的创新主要体现在以下几个方面：构建了一种基于 Ryu OpenFlow 控制器和 OpenFlow 交换机的高效分布式网络架构，实现了链路信息的实时采集与动态调度，从而显著提升了数据传输效率与处理能力。

针对数据不平衡和小样本攻击识别带来的困难，设计了一种自上而下的层次化多分类（HMC）框架，并引入AdaBoost和Bagging等集成学习方法，显著提高了细粒度攻击类别的检测准确率。

利用云模型理论构建信任关联云，通过逆向生成器和相似度计算，实现对网络中各实体信任状态的动态评估，为风险预警提供定量依据，并有效抑制因低价或高价异常交易引发的信用投机行为。

方案

注意：本方案描述了如何构建基于云的网络安全态势感知系统，并实现具有动态信任评估的分层分类。请按照以下步骤设计云网络拓扑、采集并标注数据流，以及部署分层多分类与信任评估模块。图1展示了所提出的SDN-云架构，该架构集成了自适应机器学习、分层分类和信任评估，用于实时攻击检测。

1. 云网络拓扑设计

注意：在继续操作前，请确保拥有 OpenStack、Ryu 和 Mininet 的管理员权限。

1. 在基于 OpenStack 构建的云平台上部署系统。利用虚拟化技术创建多个虚拟主机，并配置软件定义网络（SDN）环境，以实现统一资源管理和隔离调度。
2. 部署并配置 Ryu 和 Open vSwitch（OVS），以支持 SDN 控制与流量管理。
3. 构建一个三层拓扑结构，其中 Ryu 控制器为核心，OVS 交换机为转发节点，包含控制层、网络转发层和数据服务层。
   1. 控制层配置：使用 Ryu 实现集中式 SDN 控制器。通过 Ryu 的 REST API 实现网络状态的实时监控，并将其连接至安全检测模块，以快速响应异常流量。
   2. 网络转发层配置：在虚拟主机和外部网关上设置多个 OVS 虚拟交换节点。在 OVS 上设置流表策略，以便在检测到攻击流量时实现动态路径切换、流量隔离和流重定向。
   3. 数据服务层配置：在 OpenStack 平台上配置多个虚拟主机。创建作为 Web 服务器、数据库服务器和文件服务器运行的虚拟机，以生成真实的业务数据流量，并支持注入攻击流量。
4. 添加多个跳数值和不同路径。使用 Mininet 命令模拟异构网络的带宽和延迟条件。
5. 安装 Mininet 以部署并模拟该拓扑结构。通过 Mininet 命令行接口（CLI）实现租户隔离、子网划分和访问控制列表（ACL）配置。
6. 验证系统配置，确保该拓扑结构支持实时流量捕获，并能与检测模块直接集成。
7. 记录完整的系统架构（图 2）和拓扑结构（图 3），包括各层之间的所有互连关系及信息流动路径。

2. 数据流收集与标注策略

警告：务必遵守数据隐私保护法规（例如 GDPR、本地网络安全政策）。预先对用户标识符和 IP 地址进行匿名化处理。

1. 在每个虚拟主机和网络节点上安装小型数据采集代理。配置每个代理以持续检查网络流量、系统日志和用户行为信息。
2. 部署 Kafka（v3.5）作为数据队列，并使用 Apache Spark Streaming（v3.4）实时处理流数据。配置 Kafka 吞吐量达到每秒 10,000 个事件或更高，Spark 微批处理间隔设置为 500 毫秒或更短。
3. 按以下顺序依次处理采集的数据：
   1. 对数据进行清洗，剔除重复记录、不完整记录和噪声数据。通过检查协议头部过滤无效数据包。
   2. 使用最小-最大归一化方法将数值型属性归一化至标准范围 [0,1]，以实现一致的特征尺度。
   3. 提取关键特征，包括源/目的 IP 地址、端口、协议类型、数据包数量、字节数、转发延迟以及流量变化的度量指标。
4. 将处理后的数据集输入人工智能辅助检测模块进行训练与验证。
5. 建立双重标注系统以确保数据标注的准确性：
   1. 构建攻击模板库。通过基于规则的模式匹配识别常见攻击模式（例如端口扫描、SYN 泛洪、拒绝服务攻击 DoS、用户到根权限提升 U2R）。
   2. 人工复核模糊样本，以保持标注的一致性。
6. 使用 CIC-IDS2017 和 NSL-KDD 等公认的基准数据集进行交叉验证。统一标注标准，确保标注者间一致性不低于 90%。
7. 开展特征工程以构建结构化输入向量。依据多级类别定义对攻击层级进行编码。
8. 将数据集划分为 80% 的训练集和 20% 的测试集。

3. 分层分类与可信度评估集成架构

1. 构建一种智能感知架构，集成分层多分类（HMC）与动态信任评估机制（图4）。
2. 按照“由粗到细”的策略实现HMC模块：
   1. 利用轻量级连接特征（例如频率、端口分布、协议类型）将流量划分为“正常”和“异常”两类。
   2. 对“异常”流量，使用中等层次的统计特征（如数据包间隔和载荷大小），进一步分类为DDoS、U2R、R2L和Probe等攻击类型。
   3. 通过分析攻击特征和目标属性，识别细粒度的子类型（例如TCP SYN Flood、SQL注入、暴力破解攻击）。
3. 优化分类模块。
   1. 应用AdaBoost和Bagging集成学习方法，在每一层级构建5至8个弱分类器（例如决策树、逻辑回归）。
   2. 根据准确率得分，采用加权多数投票方式融合分类器输出结果。
4. 基于云模型理论实现动态信任评估模块：
   1. 持续监控主机行为指标，例如历史稳定性、通信频率以及访问目标的变化情况。
   2. 将模型输出的可信度纳入信任值计算，利用期望（Ex）、熵（En）和超熵（He）参数估算实际信任评分（0至1之间）。
5. 配置HMC模块与信任模块之间的联动反馈机制：
   1. 根据信任值自动调度系统：隔离信任值≤0.3的主机，降低信任值在0.3–0.6范围内的主机权限。
   2. 使用信任值≥0.8的主机数据重新训练分类器，以提升对未知攻击的检测能力与适应性。
6. 测试对零日攻击的响应能力。注入未标记的恶意流量，确认告警与隔离机制可在10分钟内被触发。

4. 信任云模型的计算与实现（图5）

1. 标准信任云生成：
   1. 将信任值划分为 n 个不同的等级（例如，“低”、“中”、“高”、“很低”和“很高”）。
   2. 根据该等级内各实体信任评估值的平均值，使用公式 1 计算第 k 级的信任期望值（Ex_k）：
      
      其中 T_ik  表示被归类于信任等级 L_k 的实体各自的信任值。
   3. 使用公式 2 计算熵（En_k），以量化信任等级 L_k 内信任值的模糊性：
      
      其中 α 是控制模糊程度的常数。
   4. 使用公式 3 计算超熵（He_k），以量化熵随时间变化的不稳定性：
      
      其中 β 是调节不确定程度的参数。
   5. 输出对应于 n 个信任等级的标准信任云集合 C₁, C₂, ..., C_n。
2. 信任属性云逆向生成：
   1. 使用公式 4 将输入的信任属性 A_i 归一化至 [0,1] 范围：
      
      应用统计分析方法，估计每个归一化属性 A_i' 对应的云模型参数（Ex, En, He）。
      为每个属性生成其信任属性云 C_i。
3. 综合信任评估：
   1. 使用加权综合法（公式 5–7）计算综合信任云的数字特征（Ex_com, En_com, He_com）：
      
      
      
      其中
   2. 使用公式 8 计算当前信任云 C_i 与标准云 C_k 之间的相似度：
      
      通过公式 9 求取最大相似度，确定最终信任等级 L^*：
      
4. 动态信任更新
   1. 使用公式 10 中的时间衰减模型更新信任值，以反映其随时间的演化：
      
      其中 λ∈[0,1] 控制近期与历史信任值的权重。
   2. 若出现特定偏差，则应用信任惩罚机制。使用公式 11 和 12 计算偏差（ΔA）和惩罚因子（P_penalty）：
      
      
   3. 使用公式 13 计算更新后的信任值：
      

5. 攻击检测性能的实验验证

1. 配置实验环境并准备数据集。
   1. 使用配备 Visual C++ 工具的 Windows 11 工作站进行算法编译和测试。
   2. 从经过验证的来源获取 KDDCUP_10% 数据集，并根据机构数据保护指南对其进行预处理。
   3. 设置算法参数：时间间隔 T = 10s，采样轮数 h = 20，数据样本数 n = 1000。
   4. 通过分层抽样将数据划分为训练集（80%）和测试集（20%）。
2. 验证二分类性能。
   1. 进行 5 折交叉验证以确保结果可靠性。
   2. 训练并测试八种分类器：决策树（DT）、朴素贝叶斯（NB）、随机森林（RF）、K-近邻（KNN）、自适应提升（AdaBoost）、支持向量机（SVM）、装袋法（Bagging）和梯度提升（Gradient Boosting）。
   3. 每个模型运行 100 个训练周期，并记录精确率、准确率、召回率和 F1 分数。
3. 验证多分类性能。
   1. 训练分类器以检测 DDoS、U2R、R2L、Probe 和正常流量。
   2. 使用 表 1 中指定的参数实现五种深度学习架构（MLP、CNN、GRU、RNN 和 LSTM）。
   3. 通过各类别的精确率-召回率曲线和混淆矩阵比较性能。
4. 验证 HMC 算法。
   1. 采用 AdaBoost 和 Bagging 作为集成策略实现 HMC 算法。
   2. 通过分层逻辑将多分类问题分解为多个二分类子问题。
   3. 针对少数攻击类型（U2R、R2L）与基线模型比较结果。
5. 实施攻击模拟。
   1. 在云测试平台上部署训练好的信任检测模型。
   2. 使用多个虚拟主机发起 UDP Flood 和 SYN Flood 攻击，目标为指定服务器。
   3. 使攻击流量维持在网络吞吐量的约 30%。
   4. 跟踪网络统计信息（传输速率、会话长度、端口访问频率、异常连接）。
   5. 测量检测错误率、误报率和系统平均响应时间。

结果

实验验证与性能分析

基于云的验证

为了测试所提出算法的效率和可行性，在受控的网络实验室环境中进行了模拟测试。验证工作在 Windows 操作系统上进行，核心算法使用 VC（Visual C++）编程工具编写。

对于实验数据，我们选择了公开可用的 KDDCUP_10% 数据集(http://kdd.ics.uci.edu/databases/kddcup99/kddcup99.html)，该数据集在入侵检测和网络行为建模中较为常用。整体实验流程与先前描述的方法¹⁰非常相似，以确保结果的可比性和可信度。

主要算法参数设置为：时间间隔 T = 10 s；采样轮数 h = 20；数据样本数 n = 1000。

利用这些参数...

讨论

有效实施本方案依赖于基于云的架构中的关键步骤。正确配置 Ryu OpenFlow 控制器、准确设置 Open vSwitch 规则，以及构建稳健的多层拓扑结构，对于实现完整的流量捕获至关重要。选择 Ryu 作为控制器、Open vSwitch 作为交换平台，显著提升了系统的实用价值；其轻量级、模块化和完全可编程的特性，使其成为在云基础设施中实现实时网络监控、动态流控和可扩展安全管控的理想方案。同样，预处理流程（包括数据清洗、归一化和标注）也必须准确执行，以避免在分层分类过程中引入偏差，从而应对云安全分析中固有的复杂性。

部署过程中，为确保最佳性能，进行了多项调整。集成模型最初在少数类别上表现出过拟合现象，需要调整弱学习器的深度和投票权重，这与异常检测中遇到的挑战相似。为缓解由噪声流量引起的信任值波动问题，重新校准了云模型的熵值和衰减参数。此外，通过增加主题分区数量以支持高吞吐量的云环境，解决了Kafka-Spark数据流管道中的瓶颈问题。

Mininet 和 EstiNet 仿真实验结果，以及基于真实云流量和 DDoS 数据集...

材料

本文使用的材料清单

姓名	公司	目录编号	评论
AdaBoost（集成学习库）	Scikit-learn, Python	https://scikit-learn.org/stable/modules/generated/sklearn.ensemble.AdaBoostClassifier.html	软件
Bagging 分类器	Scikit-learn, Python	https://scikit-learn.org/stable/modules/generated/sklearn.ensemble.BaggingClassifier.html	软件
云模型信任评估代码	自定义实现	N/A	算法/软件
卷积神经网络（CNN）	TensorFlow / PyTorch	https://www.tensorflow.org/tutorials/images/cnn	软件
深度学习框架（MLP、RNN、LSTM、GRU）	TensorFlow / PyTorch		软件
EstiNet 网络模拟器	EstiNet Technologies	https://sites.google.com/view/estinet-network-simulator	软件
Kafka（数据流平台）	Apache 基金会	https://kafka.apache.org/	软件
KDD CUP 10% 数据集	UCI 机器学习知识库	http://kdd.ics.uci.edu/databases/kddcup99/kddcup99.html	数据集
Mininet 模拟器	Mininet 项目	Mininet 2.3.1	用于 SDN 拓扑、带宽和混合攻击模拟的网络模拟工具。
Open vSwitch（OVS）	Open vSwitch 组织	OVS 3.2.2	实现流表控制和攻击流量重定向的虚拟交换机。
OpenStack 云平台	开放基础设施基金会	https://www.openstack.org/	云软件
Python 3.x	Python 软件基金会	https://www.python.org/downloads/	编程语言
Ryu SDN 控制器	NTT R&D	Ryu 4.34	用于实时网络流量捕获与态势感知的 SDN 控制器。
Spark Streaming 框架	Apache 基金会	https://spark.apache.org/docs/latest/streaming-programming-guide.html	软件
Visual C++（VC++）编译器	Microsoft	https://visualstudio.microsoft.com/	软件
Windows 11 工作站	Microsoft	Windows 11 Pro 23H2	用于模型编译、训练和测试的操作系统。