企业实现大数据分析效果关键的五个要素

实现大数据分析效果关键的五个要素！面对市场各种各样的大数据安全分析产品，用户需要擦亮眼睛，辨伪识真。在选取大数据安全分析平台时，要确保对以下五个要素进行评估，这对实现大数据分析的效果非常关键。这对于快速收集随时产生的海量数据、快速进行数据分析，确保安全人员高效响应非常重要。

 要素1:统一的数据管理平台 

统一的数据管理平台是大数据分析系统的基础。数据管理平台存储和查询企业数据。这似乎是一个广为所知，并且已经得到解决的问题，不会成为区分不同企业产品的特色，但实际情况却是，这仍是个问题。处理海量数据通常需要分布式数据库。因此，大数据安全分析产品的数据管理平台需要平衡在成本与可扩展性进行平衡。像国内的Smartbi，是采用多集数据库，多维数据集在结构上将同一个分析主题所涉及到的所有数据集中存储在一起，通过采用多维结构和部分预先聚合来实现灵活而快速的数据访问。

要素2:支持多种数据类型

正如上文所提到的，人们一般用三个“V”（大量、快速、多样）来描述大数据。安全事件的数据多样性给数据的整合带来不少问题。

大数据分析平台利用了大数据平台的可扩展性，以及安全分析与SIEM工具的分析功能。安全事件数据收集 会有不同的颗粒度。比如网络包是一般层级较低、细粒度的数据，而修改服务器管理员密码的日志则会是粗颗粒的数据。尽管存在不同，这些数据可能有关联的。网络包也可以捕获有关攻击者潜入目标数据库的数据。Smartbi 产品支持的数据类型也是特别多，目前支持：DB2_V9、GBase 8S V84、GBase 8S、kingbase、kingbase_V8、MySQL、MSSQL、Oracle、 Shen Tong等等数据库作为知识库。

要素3:可扩展数据提取

服务器、终端、网络与其他基础设施的状态都在不断变化。很多状态变化日志都是有用的信息，应该传送到大数据安全分析平台。假设网络带宽充裕，最大的风险是安全分析平台的数据提取组件无法支撑不断涌入的安全数据。这种情况下，数据会丢失，从而损害部署大数据安全分析平台的目的。

维持消息队列中的查询数据高写入量，系统可以支持不断增加的数据提取。同时，一些数据库使用追加写入的方式支持海量写入。数据被追加到提交日志而不是随意写入到磁盘块。这样可以减少随意写入磁盘时的延迟。这种数据管理系统维持一个队列可以作为写入时的数据存储缓冲。如果出现信息剧增或硬件故障，导致写入操作，数据可以堆积在队列中，直至数据库消除积压的写入数据。在Smartbi大数据分析平台中，就完全可以实现可扩展数据提取。

要素4:安全分析工具

Hadoop和Spark等大数据平台都是通用目的的工具。它们可以帮助开发安全工具，但它们本身并不是安全分析工具。安全攻击可以进行扩展以满足企业基础设施产生的数据规模。因此，Hadoop和Spark等工具满足这一标准。但安全分析工具应该负责解释不同数据类型的关系，比如用户、服务器和网络。

分析人员应该能从安全的角度抽取和查询安全事件数据。例如，分析人员应该能够查询用户、服务器和应用的关系。这种查询需要更多类似曲线图的分析工具，而不是在关系型数据库进行的传统行列查询。

要素5:合规报告

合规报告不再是可有可无的要求。很多用于合规报告目的的数据要素都与安全最佳实践有关。即使是那些不需要合规报告的企业，这些报告仍可以用于内部监督。

在需要合规报告的企业，需要审核大数据报告平台是否包含了合规报告功能，以确保贵机构的需要得到满足。

关于Smartbi

Smartbi为企业打造专业的一站式企业级商业智能 BI 平台，通过标准的数据仓库建模和前端自助可视化分析平台为企业构建高度稳健、可扩展的 BI 大数据分析平台。有兴趣可到Smartbi官网看看，现在可以免费体验哦！

申请试用