如何实现高性能的跨库查询和计算？

发布时间：2021-04-28      游览量：3660

• 大数据的应用实例数据分析应用数据分析模型

我们在做BI项目的时候，通常会面临客户的系统分散在不同的数据库中，比如ERP用的Oracle，OA用的SQLServer，还有些客户数据在MongoDB中，如何跨不同的数据源对数据进行分析？

一、Smartbi如何实现跨库查询

要实现跨库关联查询分析，传统的方式有两种：一是通过单独ETL工具把数据都抽取到统一的库中；二是对现有业务代码进行重构，在业务代码中进行join关联并查询数据。这两种方式操作起来都非常麻烦！

针对上述问题，Smartbi通过提供跨库联合数据源来支持直接的跨库关联查询。跨库联合数据源是系统内置数据源。我们可以通过将不同的关系数据源信息自动添加或是手动添加到跨库联合数据源中，来解决不同接口数据统一访问的问题。

跨库联合数据源在客户端的应用有多种方式：

一是以SQL语句的方式进行应用

因为跨库联合数据源是统一的SQL接口，技术人员可以直接基于它创建SQL数据集，通过书写SQL语句的方式实现跨库联合查询。

二是基于跨库联合数据源创建业务主题

业务主题是常见的数据资源，它通过虚拟语义层将复杂的数据关系转换为业务分析师可认知和使用的模型。基于跨库联合数据源创建业务主题，可以实现对不同数据库的表和字段重新自由组装、分级分层，构建便于业务人员拖拽使用的模型。

业务人员基于业务主题，通过勾选或是拖拽即可实现即席查询、透视分析等。如下图，演示使用业务主题创建透视分析：

二、如何解决跨库查询的性能问题

如果数据量不高，我们通过跨库联合数据源直接跨库查询一般没有问题，但当跨库查询join关联产生较大数据量时，就有可能出现性能问题。这时，我们应该如何解决呢？

1、扩充跨库计算引擎节点

Smartbi提供直接的跨库联合查询，并且内置了分布式的数据跨库查询引擎，在内存中进行关联；内置的跨库引擎还能通过线性扩充，实现并行处理。

因此，当跨库查询数据量大而出现性能问题时，我们首选增加跨库联合查询服务器内存和节点来解决。比如部署Smartbi跨库联合查询服务集群时，指定一台服务器为主节点，其余服务器为子节点，子节点可以根据性能要求横向扩展。

2、抽取数据到高速缓存库

但当数据量非常巨大，一旦达到某个级别，性能就会出现瓶颈，导致报表长时间刷不出来。而此时若通过增加跨库联合查询服务器内存和节点也无法解决，可以使用Smartbi的高速缓存库功能来解决。

高速缓存库是列式数据库管理系统，它使用分布式的内存计算技术，在进行数据查询分析的时候，允许将原始库数据抽取到高速缓存中再进行分析。

高速缓存的基本原理就是将频繁访问的数据保存在相对能够快速存取的高速缓冲区域中，以避免在复杂的数据文件中寻找。由于高速缓存库中保存了数据副本，可以方便用户程序更高效地访问数据，并且减轻了数据库的工作量，增强了系统的性能和可伸缩性。此外，高速缓存也支持集群部署，支持横向扩展，我们还可根据用户的实际情况，选择不同的高速缓存方案。

如下图，雇员表（300,024条记录）与薪资表（2,844,047条记录）进行跨库关联查询，同样的数据量情况下，使用高速缓存抽取数据后制作的仪表盘比未使用高速缓存性能提升了10倍！

未使用高速缓存加速前，仪表盘打开20秒：

使用高速缓存加速后，仪表盘打开2秒：

三、如何实现逻辑复杂的跨库计算

之前，我们的跨库引擎对外提供的是标准SQL接口，SQL的计算表达能力已经很强，但是如果跨库查询计算逻辑复杂，不能简单的用SQL去描述，我们该怎么办呢？

Smartbi通过自助ETL功能，用spark内存计算技术来增强计算能力。自助ETL模块支持以工作流可视化的形式，将多来源的异构数据通过spark内存计算技术加工处理成具备语义一致性与完整性的数据模型。

自助ETL自带丰富处理节点，拥有强大的数据处理功能，对各种结构化数据，可进行排序、去重、映射、行列合并等处理；它还支持SQL扩展、性能线性扩展；使用自助ETL处理完成的结果可直接写入数据库用于分析！

此外，Smartbi还有很多手段比如设置参数、分页、Web优化、滚动加载、应用集群、增强OLAP计算等等，用以提高性能和计算能力，满足企业不同的需求！