电子技术论坛_中国专业的电子工程师学习交流社区-中电网技术论坛

标题: 数据挖掘技术在光传送网管理系统中的应用 [打印本页]

作者: rise_ming 时间: 2013-1-26 10:58 标题: 数据挖掘技术在光传送网管理系统中的应用

   1 引言       随着WDM光传输技术的飞速发展，光传送网由点到点网络、环网逐步向网状网演变，光传送网的管理已成为电信网络管理的重要研究课题。目前，光传送网的管理技术尚处于发展阶段，能否构建出一种智能的、开放的管理系统以便对光传送网实施有效的控制和管理是所有光网络运营者十分关注的问题。本文将数据挖掘技术引入光传送网管理领域，构建了一套基于数据挖掘技术的光传送网管理系统，把一种科学、快捷、方便的思想应用于光传送网管理领域，使光传送网管理系统具有智能性、自动性和远程性，在光传送网管理领域具有突出的优越性和广泛的应用前景。
   2 数据挖掘在光传送网管理系统中应用的必要性
   数据挖掘是指从大量的、不完全的、有噪声的、模糊的、随机的实际数据中，提取隐含在其中的、人们事先不知道的、但又是有用的信息和知识的过程。在光传送网管理系统中采用数据挖掘技术有以下3方面必要性：
   (1)在知识获取方面，数据挖掘技术可以通过对案例库中的实例进行学习，自动从实例中获取知识，然后将其存放于知识库中。这种知识的获取方式是自动的，不需要知识工程师和领域专家之间的直接对话，这在一定程度上克服了传统光传送网管理系统中存在的知识获取“瓶颈”问题和知识的“窄台阶效应”问题。
   (2)在推理机制方面，数据挖掘技术运用数据挖掘算法进行全方位推理，即在推理时根据不同需要将不同维度里的运行状态参数综合起来进行分析计算，这可以克服传统推理机制具有单一方面的精度高而忽视了其他方面影响的缺点。
   (3)在知识表示方面，数据挖掘技术可以把从系统外得到并用数据输入系统的知识推广，知识表达很明确，是一种可以让专家识别的形式，所以容易证实。
   3 基于数据挖掘的光传送网管理系统的设计
   光传送网的管理应当建立在与现有的网络管理系统平台(如SDH网)兼容的基础上，同时应向自动化、智能化方向发展。基于数据挖掘技术构建的光传送网管理系统，可以实现这方面的功能，从而对光网络实施有效的管理和监控。
   3.1 系统的体系结构
   光传送网与网管系统处在不同地理位置，通过计算机网络进行互连，网管系统可以远程地、自动地、智能地监控光传送网，并将监控结果上报管理人员。网管系统的体系结构主要包括以下3个模块，如图1所示。

   数据采集模块数据采集模块向诊断中心提供大量网络信息，包括设备类型、设备工作状态、设备位置状况、时间信息、告警信息以及性能指标等。数据采集模块主要通过以下两种途径收集信息：从专业网管的标准接口或私有数据库接口实现告警、性能等数据的采集；在客户端或局端上部署硬件探针完成网络告警和性能数据的采集。
   智能诊断模块智能诊断模块集中了光传送网中几乎所有的信息，拥有与用户共享的知识库、案例库、资源库和方法库，供用户随时调用。采用数据挖掘软件对光网络信息进行实时挖掘，并采用推理机制对实际问题进行推理，将挖掘结果以友好的界面上报给管理人员。该模块具有专家级水平，能够自动地对光网络信息进行分析处理，是光传送网管理系统的核心模块。
   计算机通信网络计算机通信网络是连接光传送网、诊断子系统和管理人员的桥梁。光传送网信息通过Internet传至诊断中心，诊断中心对这些信息进行预处理，然后选择挖掘算法进行数据挖掘，并将结果通过Internet传输至管理人员。
   3.2 系统的功能模型
   基于数据挖掘技术的光传送网管理系统的功能模型，是对光传送网管理系统的结构、功能和应用的集中描述。系统的功能模型分4个层次：采集适配层、数据支撑层、应用层、表示层，如图2所示。
   采集适配层采集适配层包括网元设备、网络通信、探针系统、领域专家等，它们是信息、知识的来源，为采集子系统服务，其变化将会引起数据支撑层、应用层、表示层中相关数据、信息和知识的变化。
   数据支撑层数据支撑层包括资源库、知识库、案例库和方法库，它们为应用层提供数据支撑。资源库存放与网络监测有关的信息，如网元设备状态信息，性能参数、历史数据等，为智能诊断提供原始数据支持；知识库存放领域专家的经验、知识以及利用数据挖掘技术挖掘出的新规则，库中的知识能被智能诊断中的推理机制采用；案例库存放一些实例以及诊断过程中产生的新实例；方法库存放整个系统协调工作的方法和策略，是系统的控制中心。
   应用层应用层主要包括5个功能区：故障管理、配置管理、性能管理、安全管理和会计管理。故障管理是指对光网络进行故障诊断、故障定位、故障隔离、故障校正以及故障预测；配置管理是指通过对网元设备信息的实时挖掘，实现光连接的建立、保护倒换、资源调度，以及管理用户信号进入光学层的适配性；性能管理是指通过监控和管理各种估量网络性能的参数，对光网络实行性能监视、性能控制和性能分析；安全管理是指通过分析性能参数和安全告警，识别各种非法入侵行为；会计管理是一种负责记费和开发网络元器件的寿命历史记录的功能。
   表示层表示层负责把管理人员熟悉的信息表示手段，如自然语言、表格、图形等转换成内部表示形式，再交给智能诊断系统去处理，同时把诊断系统输出的信息转换成管理人员能理解的形式显示给管理人员。

   4 光传送网管理系统应用数据挖掘的具体流程

   在光传送网管理系统中，数据挖掘技术主要应用于智能诊断子系统，通过对资源库和案例库中的数据进行高效快速的信息挖掘，寻找出隐含的、有意义的知识，并将其存入知识库，以便管理人员使用。光传送网管理系统应用数据挖掘的具体流程，包括：业务和数据理解、数据预处理、建立挖掘模型、评价和实施，如图3所汞。。
   (1)业务和数据理解。光传送网管理人员应该从技术的角度进行需求分析，并把业务领域的目标转换成相应的数据挖掘目标，同时对数据挖掘所需的数据进行全面调查，利用数据采集子系统收集所需宴的数据。例如，业务目标是“对光传送网中出现的故障进行定位”，相应的数据挖掘目标则是“网元及链路的告警信息和性能参数，正常行为的规则库，已知的故障类型及其规则库，预测故障出现的位置”，收集的数据有“网络中出现的告警，有关网络运行状况的数据”。

   (2)数据预处理。包括数据清洗、数据构建、数据集成和数据格式化，这些处理可交叉反复进行，从而将原始数据转化为适合数据挖掘工具处理的最终目标数据。数据清洗的任务是将数据质量提高到满足分析精度的要求，保证数据值的正确性和一致性，解决字段值的缺失问题；数据构建是指从一个或几个已知属性构建新属性、生成新记录；数据集成是将来自不同表或记录的数据合并起来产生新的记录或属性值；数据格式化是对数据进行语法上的修改，使数据满足建模工具的需要。
   (3)建立挖掘模型。光传送网管理人员首先将数据分成训练集和测试集，在训练集上运行建模工具，选择合适的数据挖掘算法建立模型，并调整参数使模型达到最优，然后在测试集上对模型进行评估。其中数据挖掘算法包括决策树、神经网络、粗糙集、遗传算法等。
   (4)评价。评价阶段是指将挖掘模型以可视化技术和知识表示技术展示给管理人员，由管理人员根据领域知识和数据挖掘成功标准来解释所得到的模型，并对模型进行全面评价，以确定是否完全达到了业务目标，最终做出是否应用数据挖掘结果的决策。如果结果不能令管理人员满意，需要重复以上数据挖掘过程。该步骤可能导致回到前面任何一步，从而使后续步骤或若干个后续步骤反复进行。
   (5)实施。光传送网管理人员根据挖掘结果对光传送网进行维护，同时将数据挖掘产生的知识存入知识库，该实例存入案例库，并将有关数据存入资源库。
   5 结语
   数据挖掘技术是一种新兴的数据分析手段，到目前为止，一些商业数据挖掘产品已得到应用，但数据挖掘结合光传送网的特点应用到该领域的研究还未展开。随着光传送网的进一步发展，在光传送网管理系统的各项应用中对数据分析的要求也越来越高，适时地将数据挖掘技术引入光传送网管理系统中，对于解决现有问题必将起到积极作用。本文利用数据挖掘技术建立的光传送网管理系统，具有智能性、自动性和远程性等优点，该系统能够从大量的网络数据中自动产生精确的、实用的管理模型，适用于任何计算环境，更加符合网络动态实际情况，对光传送网管理系统的研究起到了一定的推动作用。本文只是对数据挖掘技术在光传送网管理系统中的应用做了初步探索，进一步研究工作还在继续中。

欢迎光临电子技术论坛_中国专业的电子工程师学习交流社区-中电网技术论坛 (http://bbs.eccn.com/)