在当今数字化时代,大数据技术已成为企业决策的核心驱动力。随着数据在企业决策中的地位不断提升,大数据技术的应用日益普遍。本文将对大数据赛道中的企业类型及其AI能力进行分析,并探讨AI和大模型的发展机遇,最后重点介绍在商业智能领域,BI和AI技术的结合如何不断推动业界的发展。
在大数据领域,企业主要分为以下几种类型,每种类型对应着不同的细分赛道。
1、数据存储与管理企业。这类企业专注于大数据存储、管理和处理解决方案,此方向上的典型企业有下面这些。比如AWS,其提供包括S3、Redshift等在内的全面云数据存储与处理解决方案。核心业务在于提供稳定、安全、高效的大数据存储服务,具有强大的可扩展性。比如Hadoop生态系,由Apache Hadoop及其相关工具组成,为大规模数据处理提供分布式存储和计算能力。
2、数据分析与挖掘企业。这类企业主要提供大数据分析工具与服务,帮助企业挖掘数据价值,代表企业如下。Splunk,其专注于机器数据的监控和分析,核心业务是实时数据收集、搜索和可视化,特点是处理非结构化数据的能力强。比如Cloudera,其提供企业级数据云平台,安全、管理便捷。其主要特点是强大的数据治理和安全性。
3、BI工具企业。BI工具企业专注于提供数据可视化、报告生成和管理驾驶舱等解决方案,代表性企业有如下这些。比如Tableau,其以卓越的数据可视化功能著称,支持即时查询与交互式报表。其核心特点是用户友好的界面和强大的自助分析能力。Power BI,由微软推出,具有与Excel无缝集成的优势。核心特点是丰富的嵌入式分析功能和广泛的云端服务。在国内就是Smartbi,专注于企业实时决策支持,提供一站式大数据分析解决方案,具有领先的管理驾驶舱和报表能力。另外,在国内还包括帆软、永洪、观远、亿信华辰等其他有代表性的BI厂商。
AI与大数据融合企业有哪些呢?
企业将AI技术与大数据技术相结合,提供智能化的数据分析和预测服务。最典型就是Palantir,其通过人工智能驱动的数据分析和情报分析系统帮助企业和政府机构进行数据驱动决策,其主要特点是数据整合与情报生成的能力。
在AI和大模型的方向上,企业其实面临着大量的商业机会。比如智能化决策支持,通过大模型和AI技术提供更准确的数据分析和预测,助力企业优化决策流程。比如自动化数据处理,AI可以自动处理和分析大规模数据,降低人工成本并提高效率。比如个性化推荐系统,在市场营销、客户管理等方面,通过AI分析用户行为数据,为客户提供个性化服务。
参考国内咨询机构爱分析发布的《2024爱分析·大模型应用实践报告》,我们可以看到,大模型应用百花齐放,其中数据分析是企业在2024年关注度最高的应用场景,成为企业落地大模型的重要抓手。调研数据显示,准备在2024年应用大模型的企业中,有78%计划在数据分析场景落地。
图表1:2024年大模型重点应用场景
而在数据分析这个赛道上,思迈特是起步最早、目前推出的产品成熟度最高的国内代表性企业了。
Smartbi AIChat对话式分析产品,从功能上来说,非常类似于ChatGPT-4o之上提供的Advanced Data Analysis能力。Advanced Data Analysis让用户指定CSV或Excel文件,然后就可以提问,ChatGPT能够理解用户问题,并生成Python代码去解决用户问题。包括多轮对话,交互式表格和图表生成,聚合计算,异常检测和高级分析(比较统计[t检验,方差],相关性和回归分析,时间序列预测等)。
相比ChatGPT-4o提供的Advanced Data Analysis,Smartbi的主要不同有两个方面。
一是对话式分析基于Smartbi指标模型和数据模型,而不是明细数据。其带来的好处包括支持接入私有化数据、支持权限和数据隐私控制,不允许每个人都能访问明细数据、支持更大数据量,Smartbi支持亿级数据访问。
二就是计算能力分层。ChatGPT的所有计算,都依赖于Python的库外计算。而Smartbi AIChat将计算进行分类,一部分数据量大的统计,下压到数据模型执行,充分利用Smartbi已有的指标模型的计算能力;另一部分复杂计算,通过Python在库外执行,计算的边界和能力的融合是关键。
目前国内其他友商,大多提供的是NL2SQL能力,有些是NL2DSL能力。Smartbi是基于AI Agent,首先意图识别,再做求解规划,然后每个执行动作通过代码解释器生成Python代码,在Python代码中融合MQL(Smartbi模型查询语言,也是一种DSL) + Smartbi机器学习能力 + Smartbi的可视化能力 + 第三方Python库计算能力,最终能够准确的执行复杂的数据分析逻辑,而不仅仅是简单的查数。