BI应用干货：【智能有我】OLAP春风得意，你造吗？

发布时间：2021-01-14      游览量：3492

• sqlite可视化工具mysql可视化sql可视化工具

自有数据库以来，数据处理大致可以分成两大类：联机事务处理OLTP（on-line transaction processing）、联机分析处理OLAP（On-Line Analytical Processing）。OLTP是传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，例如银行交易。OLAP是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果。

简单的来说，OLTP是产生和更改数据的技术，OLAP是查询和分析数据的技术。

大家都知道我们现在所处的时代叫做“大数据”，那么OLTP、OLAP这些技术是不是就过时了呢？我们尝试分析一下吧。

联机分析处理 (OLAP) 的概念最早是由关系数据库之父E.F.Codd于1993年提出的，联机事务处理 (OLTP) 诞生的时间更早，当时关系数据库正处于春风得意的早期，无论交易还是分析，所使用的数据交互技术都是SQL（Structured Query Language），数据也都存储于RDBMS中（Relational Database Management System）。而当大数据（BIG DATA）提出后，尤其Hadoop成为既成事实的大数据平台，大家都认识到无论存储还是交互技术都不一定用“数据库”和“SQL”了，而且由于其系统架构的线性扩展能力和低廉的成本投入，传统的数据库厂商也纷纷开始转型，为客户提供新的数据平台解决方案。

存储和交互技术发生了改变，那么OLTP和OLAP还是否存在呢？我们再说说SQL，还记得Hadoop刚刚以颠覆者形象出现的时候，只有MapReduce可以使用，但大家很快就发现以前SQL所拥有的开发效率不见了（有时用SQL描述就只有一两行，MapReduce写起来大约要几十上百行），于是产生了基于Hadoop的SQL引擎（SQL-on-Hadoop）——Hive等，包括后来效率更高的的impala和Sparksql。

好了，我们看到了在全新的大数据底层存储之上，SQL又重新焕发了活力，同时也包括OLTP和OLAP。这点可以从Impala的设计目标上看到：

■      分布式环境下通用SQL引擎：既支持OLTP也支持OLAP

■      SQL查询的规模和粒度：从毫秒级到小时级

■      底层存储依赖HDFS和HBase

■      使用更加高效的C++编写

■      SQL的执行引擎借鉴了分布式数据库MPP的思想而不再依赖MapReduce

OLTP相对比较简单，无论是RDMBS还是Hadoop，事务都是“小而多”的，或者说性能上从来不是瓶颈（理论上说）。而OLAP面临数据量爆炸和多维分析挑战，一直没有成熟的解决方案，各种产品和技术五花八门。在罗列OLAP产品之前，我们先说明划分规则，OLAP存在2个层次的技术，分别是底层的存储和前端的查询。当然我们不列IBM Cognos等封闭软件，他们不遵从技术标准，也无法被集成到自己的前端查询系统中。

注：https://en.wikipedia.org/wiki/Comparison_of_OLAP_Servers

从其中OLAP_on_Hadoop的Kylin，可以知道OLAP不是关系数据库和多维数据库的专利，它是一大类型的市场需求。至于这个Kylin是什么，我们可以从Apache（http://kylin.apache.org/cn/）和Kyligence的网站（http://www.kyligence.io/）获得一些信息。

■      可扩展超快OLAP引擎： Kylin是为减少在Hadoop上百亿规模数据查询延迟而设计

■      Hadoop ANSI SQL 接口： Kylin为Hadoop提供标准SQL支持大部分查询功能

■      交互式查询能力：通过Kylin，用户可以与Hadoop数据进行亚秒级交互，在同样的数据集上提供比Hive更好的性能

■      多维立方体（MOLAP Cube）：用户能够在Kylin里为百亿以上数据集定义数据模型并构建立方体

■      与BI工具无缝整合：Kylin提供与BI工具，如Tableau、Smartbi的整合能力，即将提供对其他工具的整合

■      其他特性:

- Job管理与监控

- 压缩与编码

- 增量更新

- 利用HBase Coprocessor

- 基于HyperLogLog的Dinstinc Count近似算法

- 友好的web界面以管理，监控和使用立方体

- 项目及立方体级别的访问控制安全

- 支持LDAP

在2014年11月，Kylin正式经投票加入了Apache大家庭，项目名字也改成了“Apache Kylin”，在项目开源伊始即幸运的加入全球最大的开源软件基金会，从而开启了麒麟大数据之旅。

在2015年11月，Apache Kylin经项目管理委员会及孵化器管理委员会共同投票，正式毕业成为Apache顶级项目，和Apache Hadoop, Apache Spark, Apache Kafka等众多软件一起成为顶级项目，这是中国工程师的骄傲，目前为止，Apache Kylin是唯一来自中国的Apache顶级开源项目。

而今经过Kylin社区两年不断的努力和发展，已经有超过100多家国内国外的公司正式使用Kylin作为其大数据分析平台的核心。包括eBay、Glispa、微软、Expedia、百度、美团、网易、京东、唯品会、中国移动、中国电信、国泰君安、华泰证券、联想、〇PP〇、魅族、去哪儿，等等。Apache Kylin被用到了诸多如数据仓库，用户行为分析，流量（日志）分析，自助分析平台，电商分析，广告效果分析，实时分析，数据服务平台等各种场景。

事实胜于雄辩，OLAP&SQL在大数据时代也有用武之地，也可以满足海量数据的分析需求！大数据在历史上的出现确实是一种必然，但从技术角度它只是新的手段，为用户提供了更多的选择性，为处理大量非结构化信息提供了可能性，对于大型用户来说混搭的数据分析架构才会更加稳健和合理！