功能覆盖数据分析全流程,一站式平台,产品功能可组合! 申请试用
为什么使用高速缓存MPP
当数据量非常巨大,一旦达到某个级别,性能就会出现瓶颈,导致报表长时间刷不出来。而此时若通过增加服务器内存和节点也无法解决,可以使用Smartbi的高速缓存库功能来解决。
高速缓存库是列式数据库管理系统,它使用分布式的内存计算技术,在进行数据查询分析的时候,允许将原始库数据抽取到高速缓存中再进行分析。
高速缓存的基本原理就是将频繁访问的数据保存在相对能够快速存取的高速缓冲区域中,以避免在复杂的数据文件中寻找。由于高速缓存库中保存了数据副本,可以方便用户程序更高效地访问数据,并且减轻了数据库的工作量,增强了系统的性能和可伸缩性。
如下图,雇员表(300,024条记录)与薪资表(2,844,047条记录)进行跨库关联查询,同样的数据量情况下,使用高速缓存抽取数据后制作的仪表盘比未使用高速缓存性能提升了10倍!
未使用高速缓存加速前,仪表盘打开20秒:
使用高速缓存加速后,仪表盘打开2秒:
功能介绍
高速缓存库目前支持下面几种数据库,采购高速缓存MPP模块后,可以根据实际情况选择SmartbiMpp(我司研发的高速缓存库)、Presto+Hive、Vertica、星环几种数据库中的一种作为高速缓存库。高速缓存库在Smartbi中的配置简单,以Vertica为例,连接配置界面如下图:
高速缓存配置完后后,就可以进行数据抽取了。数据抽取是指从源数据库中抽取原始数据到高速缓存库,它可以保证秒级获取大级别量的数据结果,提高系统性能。系统支持数据抽取功能的模块有:数据模型、即席查询、透视分析、加载Excel数据等。
数据抽取功能的机制为:首先通过数据模型或分析确定结果字段,接着发起数据抽取指令,然后从源数据库中将字段的所有数据抽取到高速缓存库,在高速缓存库的“DEFAULT”节点下生成对应的视图和字段,这样当再次查询当前数据模型或是分析的数据时,即可以从高速缓存库获取数据。
数据抽取根据不同的应用场景可以分为全量抽取、增量抽取、定时抽取、立即抽取等多种方式。还支持当出现异常时是选择回滚还是继续操作。
功能亮点
1、开箱即用,快速部署;
2、分布式列式存储,存取速度极大提高;支持并行和分布式查询,当收到查询请求并发运行;
3、高速缓存支持集群部署,支持横向扩展、线性扩展,满足企业大数据量成长需要。
4、拥有多种高速缓存方案,拥有多种抽取方式,可根据用户的实际情况,选择应用。
如果你想体验亿级数据,秒级响应可以登录体验中心,更多功能操作可向官方在线文档和产品论坛寻求帮助。
更聪明的大数据分析软件,快速挖掘企业数据价值!
电话:
邮箱: