强大的跨库整合，打破数据孤岛

Smartbi支持多种数据源轻松接入，基本涵盖了市面上所有主流的数据库。无可否认多元的数据连接能力使Smartbi能快速连接现有数据源，构建统一的数据分析平台。

但在项目实施过程中，往往会遇到以下的问题：客户的系统分散在不同的数据库中，比如ERP用的Oracle，OA用的SQLServer，还有些客户数据在MongoDB中，如何打破数据孤岛，实现跨不同的数据源对数据进行分析？

要实现跨库关联查询分析，传统的方式有两种：一是通过单独ETL工具把数据都抽取到统一的库中；二是对现有业务代码进行重构，在业务代码中进行join关联并查询数据。但是，这两种方式操作起来都非常麻烦。

一、Smartbi如何实现跨库查询

针对上述问题，Smartbi通过提供跨库联合数据源来支持直接的跨库关联查询。它内置了数据跨库查询引擎，在内存中进行关联，数据无需落地。省去了中间抽取环节，保证查询数据的实时性。

跨库联合数据源是系统内置数据源。我们可以通过将不同的关系数据源信息自动添加或是手动添加到跨库联合数据源中，来解决不同接口数据统一访问的问题。

目前支持做跨库的数据源类型包括：高速缓存库、Hadoop_Hive、星环、Vertica、CH、Greenplum、Infobright、Oracle、DB2 V9、MySQL、MS SQL Server、Spark SQL、Teradata_v12、Informix、IMPALA、PostgreSQL、神通。

二、跨库联合数据源在客户端的应用

跨库联合数据源在客户端的应用有多种方式：

一是基于跨库联合数据源创建数据模型。无论是技术人员还是业务人员都可以直接基于跨库联合数据源创建数据模型，数据模型数据获取方式多种多样，包括SQL、存储过程、即席查询、Excel文件和JavaScript脚本等。因为跨库联合数据源是统一的SQL接口，在数据模型中不同的用户可以用使用不同的方式获取数据，比如技术人员使用通过书写SQL语句的方式实现跨库联合查询，业务人员通过即席查询直接从跨库联合数据源中拖拽勾选字段实现跨库联合查询，这些情况都无需抽取数据。

二是基于跨库联合数据源创建业务主题。业务主题是常见的数据资源，它通过虚拟语义层将复杂的数据关系转换为业务分析师可认知和使用的模型。基于跨库联合数据源创建业务主题，可以实现对不同数据库的表和字段重新自由组装、分级分层，构建便于业务人员拖拽使用的模型。

三、如何解决跨库查询性能和计算问题

1、如何解决性能问题

如果数据量不高，我们通过跨库联合数据源直接跨库查询一般没有问题，但当跨库查询join关联产生较大数据量时，就有可能出现性能问题。这时，我们应该如何解决呢？

Smartbi提供直接的跨库联合查询，并且内置了分布式的数据跨库查询引擎，在内存中进行关联；内置的跨库引擎还能通过线性扩充，实现并行处理。因此，当跨库查询数据量大而出现性能问题时，我们首选增加跨库联合查询服务器内存和节点来解决。比如部署Smartbi跨库联合查询服务集群时，指定一台服务器为主节点，其余服务器为子节点，子节点可以根据性能要求横向扩展。

但当数据量非常巨大，一旦达到某个级别，性能就会出现瓶颈，导致报表长时间刷不出来。而此时若通过增加跨库联合查询服务器内存和节点也无法解决，可以使用Smartbi的高速缓存库功能来解决。高速缓存库是列式数据库管理系统，它使用分布式的内存计算技术，在进行数据查询分析的时候，允许将原始库数据抽取到高速缓存中再进行分析。具体介绍可以参考《高速缓存MPP，满足高性能需求》

2、如何解决计算问题

我们的跨库引擎对外提供的是标准SQL接口，SQL的计算表达能力已经很强，但是如果跨库查询计算逻辑复杂，不能简单的用SQL去描述，我们该怎么办呢？

Smartbi可以通过数据模型来解决计算的问题，数据模型具有强大的计算能力，主要体现在ETL数据处理和多维计算两个方面，ETL数据处理用spark内存计算技术来增强计算能力，多维计算使用MDX语法来实现自定义成员和命名集。具体可以参考《全新的数据模型，实现一体化建模》

马上体验

若是您对跨库整合有兴趣，可以到我们体验中心进行功能体验哦！更多功能操作可向官方在线文档和产品论坛寻求帮助。

体验中心

申请试用