图1 基于大数据的分布式网络安全管理平台架构

　　2 大数据分布式网络安全管理平台流程设计

　　图2能够发现, 在数据流计算完成后则需要依照实际需求, 对相关数据进行强化处理, 例如补充资产编号以及地理信息等等。之后构建数据索引, 在实时索引中保存处理, 在此过程中数据量会出现明显增加, 在HBase中可以长时间保存相关数据。在处理过的数据之后也就会减少数据量。一旦触发告警信息, 则会出现告警数据, 在展示层中可以将HBase中的数据实施警处理。机器学习模块可以进行数据自动化分析, 数据智能安全关联之后所得结果也会被保存在HBase中。现代先进技术在机器学习数据中的应用, 有助于实现人工无法实现的目标, 能够引导工作人员找到数据详细点, 以此进行数据挖掘[2]。

　　分布式数据库技术在数据存储中的有效应用, 具有重要应用优势。传统数据存储规模较小, 也比较单一, 在当前海量数据环境下无法有效实施数据处理, 针对这一问题, 分布式数据库管理的应用则能够进一步提升大数据的扩展性及适用性。现代分布式数据库管理平台的应用也随之广泛, 例如Bigtable技术的应用, 可以在数据操作及管理过程中将数据访问信息转换为字符串, 实现数据信息管理, 字符串不必解释也就能够呈现出分布式数据的非结构化及结构化特点, 可以实现数据库的文本、上接第183页无法满足需求, 在此背景下就产生了分布式数据库。对于现代大数据及网络方面存在的多种问题, 就要设计全新的分布式网络安全管理平台, 从而为大数据提供实时的'数据收集、检索和存储等多种功能。通过实验表示, 本文所设计的分布式网络安全管理平台能够有效提高大数据的处理能力, 能够在大量日志备份、检索和网络报文收集及分析中使用。图像以及视频等不同存储类型, 以此提高系统管理便利性。Dynamo技术在数据库技术中的应用, 能够借助于链值存储、分布式数据等相关技术, 最大化的提升系统运行管理中大数据管理系统应用效率, 进一步推进关系型数据库次序发展。在智能化技术发展进程中, 在分布式数据库中则出现多种算法, 其中主要包括有机器学习、神经网络及模式识别等等, 有助于显著提升数据的快速处理, 也有助于显著提升数据处理一致性[3]。

　　图2 分布式网络安全管理平台流程

　　(文件1:文件内容直接在HDFS中存储, 文件元数据在HBase中存储;聚合2:轻度汇总数据保存一年;数据存储3:不同存储模块数据的保留时间能够配置Nana, 长期存储和短期数据索引)

　　在当前环境下, 海量数据存储也逐渐加大, 传统数据管理模式已经无法有效满足当前数据处理需求, 因此针对这一问题广大研究人员积极展开研究。基于研究方向差异, 数据管理中的可用性、扩展性以及缓存等各个方面均已经取得一定的新研究成果。例如全域名空间, 则不用提供文件姓名, 借助于姓名, 也就能够在系统中应用文件。在此过程中也能够对复数服务器起到协调作用, 系统被分成若干个部位, 各个部位内容之间相互独立同时也具有密切联系。分布式系统扩展性的实现, 也就是进一步提高系统性能及容量, 采用的技术主要为虚拟化存储, 以此进一步提高系统扩展性。在系统中信息处理主要方式有降载算法和贪心算法, 前者能够优化系统各个流程, 但是这一算法应用没有综合考虑到局部问题。数据过程中系统应用存在一定限制, 降载算法在数据处理中的应用, 一旦出现系统过载会直接放弃, 对其应用范围产生影响[4]。

　　3 实验分析

　　大数据分布式网络安全管理系统的设计选用的是B/S架构, 在管理过程中选用的是统一和集中管理。隔离环境下, 对分布式网络安全管理平台进行测试, 具体过程见图3。在Node1-Node11、模拟流量一级模拟日志收集器的应用下, 实现和交换机的有效集合, 在此基础上进行局域网设计。日志收集器的应用, 能够将具体的日志样本进行转换, 从而编程日志数据, 最后在PC模型的应用之后, 完成网络流量的发送。

　　图3 系统的实验测试拓扑

　　基于以上研究结果可以确定拓扑能够实现大数据集群和分布式收集器网络配置, 大数据集群的应用下导入大量的数据。在大数据应用中进一步提高访问记录检索精确性, 依照检索时间也就能够达到所需数据, 还能够显著减少使用时间。

　　4 结语