基于大数据的网络安全态势感知技术
商业新知 07/11

2012 年 3 月,高德纳(Gartner)咨询公司发表了一份题为《信息安全正在 变成一个大数据分析问题》(Information Security is Becoming a Big Data Analytics Problem)的报告,该报告表示大规模的安全数据需要被有效地关联、分析和 挖掘。

随着现代信息化社会的发展,电子商务、网络银行、电子政务、办公自动化 和其他各种业务的应用对计算机网络的依赖程度越来越高,针对计算机网络的恶 意攻击、病毒、垃圾邮件和广告等也越来越猖獗。全世界每年因网络安全问题造 成的经济损失达几千亿美元。网络安全面临诸多挑战,如外部攻击更加多样化、 更为集中以及现有的安全、审计难以适配大数据环境,等等。

对于中小银行而言,信息安全技术在管理中也存在以下诸多痛点。

(1)数据孤岛。数据分布在不同的安全设备上,无法进行串联。

(2)未知威胁无法主动识别。只能进行被动的防护,无法识别未知威胁。

(3)分析存储能力不足。传统安全设备无法支撑大数据量的分析和存储。

(4)事件响应缓慢。无法保证告警准确率,浪费大量事件。

(5)无法全局掌控系统安全性。只能单点掌控,无法全局掌控。

综上所述,建立一个统一的日志分析平台,已经迫在眉睫。

以“场景 + 数据分析定义安全”为核心理念,基于大数据日志分析的态势感 知技术,将业务安全、应用安全、数据安全与基础设施安全防护进行统一筹划, 已经得到众多权威机构的认同并取得了良好的成果。它不仅仅是一套技术,更是 一个全新的安全建设思路、安全运作体系,体现了一系列安全防护体系构建思路 的转变。在建设目标上,从注重合规向注重对抗的转变;在威胁检测上,从知所 已知向知所未知的转变;在响应处置上,从看见看清到快速闭环的转变。最终实 现从被动防护到主动防护,从被动运维到主动、智能运维的转变。

网络安全态势感知技术是基于大数据架构,通过对海量数据的分析、关联、 挖掘来实现的。需要采集什么样的数据、实现什么样的感知场景、达到什么样的 防护效果,都是我们的研究内容。图  4—1   是整个态势感知平台建设思路。

图 4—1 建设思路

根据我行的实际情况以及未来的日志规划,我们设计了具有良好拓展性的技 术架构以及业务架构。技术架构支持日志源、模型等的横向以及纵向的扩展;业 务架构支持业务系统的快速接入等。

主要的实施过程主要分为数据采集与标准化、数据分析与场景获取和态势可 视化展示三个部分(如图 4—2 所示)。

一、数据采集与标准化

 

建立基于大数据的态势感知体系可以全面提升包括发现识别、理解分析、响 应处置威胁的能力。数据是态势感知的基础,态势感知系统想要充分发挥作用必 须从真实的数据做起,即要获取最真实的底层数据。多维度的本地态势要素数据、 威胁情报都是“数据驱动安全”时代实现态势感知的基础能力。

首先要实现对整个环境的安全态势要素的完整获取,要有对数据理解和获取、采集的能力,如流量数据的还原与监控、各类日志数据的分析与标准化等。把来 自不同源头、不同类型的数据融合在一起、产生关联,通过进一步分析去发现 问题。

同时,态势感知需要解决外部态势问题,外部态势数据包含当前最新的外部 威胁数据。当前,各大企业、同业均形成了自己独立的、不同规模的信息安全生 态圈,但是生态圈之前缺乏共享,不能互相补充,互相促进。因此,引入生态圈 的最新数据可以完善我行的态势感知数据,并且促进生态圈的融合,最终达到互 相补充,协同防御。

我行的日志数据主要有镜像流量数据、主机与设备日志数据及外部态势情报 数据三大关键数据源,其中包括我行核心网络安全设备组成的防护平台,核心网 络设备组成的骨干网络,以及大量的存储、主机。这些设备产生的日志具有如下 的特点。

(1)数据量大。每天 T 级的数据量。

(2)多样性。不同设备拥有不同的日志数据,格式、内容均不相同。

(3)日志生成速度快。流量数据 >5gbps,日志数据 >10gbps/ 天。

(4)真实性。数据与行内业务、应用系统息息相关。

图 4—4 日志架构

采集模块支持多种协议和渠道的采集,支持渠道如 syslog、netflow、SFTP、 FTP、JDBC 等;支持协议如 UDP、SSH、JDBC、SNMP 等。通过标准的 ELK 日 志采集架构,在进行数据获取的过程中,对数据进行统一的 ETL 加工和标准化。

按照固定的格式进行分布式的存储。

二、数据分析与场景获取

基于标准化的数据,利用大数据平台实现海量数据分析关联,在此基础上做 深度的安全检测、事件捕猎、调查分析,发现、定位、溯源安全事件。

在数据的分析过程中,主要使用到如下方法。

(一)规则引擎

专家规则进行事件的匹配,如黑白名单、暴力破解、IP信誉库等。规则引擎 采用动态 OR Mapping技术,提供多种决策表来制定分析规则以及快速准确的规 则匹配。

(二)CEP

复杂事件处理技术(CEP),基于事件流(event streaming)的技术,使用模 式比对、事件关联分析、事件聚合分析,从事件中找出有意义的事件,最终由简 单事件产生高级事件或商业流程。

(三)数据挖掘和机器学习

利用专家规则以及日常数据对模型进行训练,从大量的数据中挖掘隐含的、 规律的、事先未知的,但又有潜在用处的并且最终可理解的信息和知识,自动识 别未知攻击。

“态势感知”是一个由微观到宏观的过程。微观即数据,宏观即场景。数据的 集合构成不同的场景,如何从数据中通过分析得到场景,就是我们的研究目标。

根据我行的实际情况以及实现的难易程度我们将场景分为以下三类。

1. 基础场景

逻辑简单、规则单一,不需要复杂维度的关联,通过配置规则库,即可成功

将事件捕获。如低频次的暴力破解邮箱密码,安全设备对于低频次的暴力破解通 常无法告警,威胁信息往往淹没在日志海洋之中,通过对用户登录的 ID、时间、 行为进行规则的配置,可以有效捕获该类事件。

2. 复杂应用场景

复杂场景通常需要多种日志,利用多种规则进行组合,多个维度进行关联, 通过关联分析,机器学习等手段进行分析,得到最终的结果。

复杂事件处理、关联分析可以将多种类型事件进行多维度的关联,从各个维 度对不同类型事件进行分析,最终找到隐藏的有威胁的事件。比如攻击链溯源分 析,攻击者在网络中的行为被完整的展现出来,从攻击手段、攻击线路、攻击影 响、被攻击者各个方面进行画像。不管攻击在网络中设置了多少次跳转以及伪装, 都可以通过多维度的分析直接找到攻击源头。攻击者画像包括攻击工具画像、攻 击者身份画像、攻击手法画像、被攻击者画像。机器学习则面向未知的攻击。通 过对安全事件的分类,对攻击行为特征的提取,对模型的训练以及优化,达到自 动识别攻击行为的目的。

3. 场景深化——业务系统画像

网络安全态势感知只是态势感知的一小块拼图,在数据不断增长与丰富之后

(如业务系统的接入、应用系统接入),在复杂应用场景的基础之上,场景可以继 续进行深化。将业务系统画像、攻击者画像、用户画像完整的展示出来,从用户、 系统、网络、安全各个方面对业务系统进行分析以及画像,明确系统的弱点是什 么,系统的隐患是什么,这需要采取 360 度画像,从而达到主动防御、全面防护

的最终目标,全方位的对业务系统以及应用系统进行防护(如图  4—5   所示)。

三、态势可视化展示

通过态势场景和可视化,实现网络安全的全方位监控。 可视化是依据大量数据的分析结果来显示当前状态和未来趋势,而通过传统

的文本或简单图形表示,使得寻找有用、关键的信息非常困难。可视化技术是利 用计算机图形学和图像处理技术,将数据转换成图形或图像在屏幕上显示出来, 并进行交互处理的理论、方法和技术。它涉及计算机图形学、图像处理、计算机 视觉、计算机辅助设计等多个领域。目前已有很多研究将可视化技术和可视化工 具应用于态势感知领域,在网络安全态势感知的每一个阶段都充分利用可视化方 法,将网络安全态势合并为连贯的网络安全态势图,快速发现网络安全威胁,直 观把握网络安全状况。

(1)态势动态展示。通过对日志的分析实时展示(原则上 3 秒以内)当前安 全态势以及趋势,如安全趋势、告警趋势等;攻击、威胁、告警等信息不同区域 动态展示;支持地图的下钻以及事件的下钻。全面、快速、准确地感知过去、现 在、未来的安全威胁。

(2)多种类可视化图表提供多维度的统计信息(如表  4—1  所示)。

(3)数据、事件检索。海量数据全文检索,对亿级数据查询达到秒级(亿级 数据 1 秒以内)反馈。

态势感知在信息安全日常管理维护工作中和管理体系上都取得了很好的效果。在日常的管理维护工作中,将管理维护人员从海量日志的分析工作中解放出来, 快速准确地定位问题根源,节省了大量的时间和人力。同时,通过各种分析手段, 识别未知威胁和隐藏、潜伏的威胁并进行告警。在体系上,与我行原有的管控体 系结合,形成联动,并对原有的体系进行了补充,推动了信息安全生态圈的建立, 为我行信息安全管理体系提供了有力的支撑;在建设方向上,实现了从注重合规 向注重对抗的转变;在威胁检测上,实现从知所已知向知所未知的转变;在响应 处置上,实现了从看见看清到快速闭环的转变。实现了安全管控的闭环与改进。

具体来说,取得了如下几项成效。

第一,可以实时、直观地看到当前网络环境的整体情况,并与我行的告警平 台联动,及时发现已知、未知威胁以及隐藏威胁并进行告警,达到了实时响应、 快速告警、有效处置。图  4—6  展示了态势感知与传统安全的对比。
图 4—6 态势感知与传统安全前后对比
第二,通过关联分析与规则模型、数据挖掘、机器学习可以将各类安全场景进行扩展,既能完全覆盖传统场景,又能将传统场景与未知场景进行结合,实现 全方位的安全监控。同时,场景还可以扩展,进而覆盖到业务系统、应用系统。

第三,通过溯源分析,绘制攻击链,直观地描述各个节点与攻击者的关系, 提高安全决策的科学性与准确性。

第四,通过获取外部态势数据,与内部数据结合,对外增加防御的广度,对 内增加防御的深度;同时通过不断的信息交流,促成信息安全生态圈,最终达到 协同防御的目的。

第五,形成了一套完整的安全管控体系(如图 4—7 所示),并与我行的安全管 控体系融合。
态势感知的建设,初步实现了从被动防护到主动防护,从被动运维到主动运 维的转变,保障了业务系统的稳定运行。

作者:成都农村商业银行     叶明

本文由新知号原创发布,转载请注明来源。
联系方式:system@shangyexinzhi.com
2000+知识点 7000+案例
商业新知助力数字化转型
下载