数据分析的未来：增强分析

发布时间：2022-02-16      游览量：3540

• 多维度数据分析数据分析流程大数据分析机构

提到“增强分析”，就不得不提Gartner这家咨询公司。“商业智能”这个概念，就是由Gartner最早提出来的。在2017年，Gartner首次提到“增强分析”，并对其进行定义：增强分析是下一代数据和分析范式，它面向广泛的业务用户、运营人员和民间数据科学家，利用机器学习将数据准备、洞察发现和洞察共享等过程自动化。

 

这个概念刚开始比较模糊，后来逐渐清晰。直接到2021年，Gartner在发布的《Hype Cycle for ICT in China, 2021》中做了最新的定义：增强数据分析包括机器学习(ML)和人工智能(AI)，在统一的平台上提供数据管理和分析能力。它通过将ML和AI应用于现有的操作流程中，使数据管理和分析自动化，从而更有效地进行数据分析。它使更多的用户获得更深入的洞察力，减少了当前依赖IT处理所带来的效率问题和口径偏差。

 

从定义可以看出，增强分析并不是一种技术或是一个产品，而是一系列的技术和方法，其目的就是为了提升数据分析的效率和降低数据分析的门槛。增强分析相关的技术可以分为了三类：增强数据准备、增强数据分析和增强机器学习。

 

1、增强数据准备

 

准备数据是数据分析的前提，也是最耗时的工作。数据准备不仅包含ETL，通常还包含有数据探查、数据质量、数据模型、数据清洗等工作，涵盖了数据管理的各个方面，甚至还包括数据集成和数据仓库的管理。

 

增强数据准备通过两个方面来提升效率，一方面是可视化交互，通过拖拉拽的方式实现可视化的数据配置、数据源的混合以及数据清洗工作，让数据准备变得更加快捷；另一方面是算法辅助，利用ML和AI技术实现部分流程的自动化。例如自动查找数据之间的关系，对数据质量进行评估，推荐用于连接、丰富、清洗数据的最佳方法，还有自动查找元数据和血缘关系等功能。

 

2、增强数据分析

 

增强数据分析的目标是为了让分析更加易用和智能。

 

易用方面

 

增强数据分析帮助用户无需建模和编写代码，通过可视化的界面即可洞察数据，提高分析的可用性，技术主要包含了自然语言查询 （Natural Language Query,NLQ）和自然语言生成（Natural Language Generation,NLG ）两个方向。

 

NLQ是指用户直接在搜索框输入或通过对话的方式查询数据。想要将用户的问题与数据表中的数据对应上，NL2SQL ( Natural Language to SQL ) 技术就是其中的关键。NL2SQL 这一任务的本质，是将用户的自然语言语句转化为计算机可以理解并执行的规范语义表示，是语义分析 ( Semantic Parsing ) 领域的一个子任务。

 

NLG是将语义信息以人类可读的自然语言形式进行表达。根据输入信息的不同，NLG 又可分为：数据到文本的生成、文本到文本的生成、意义到文本的生成等。在数据分析中应用 NLG 主要是数据到文本的生成，它能够将分析结果转换为人类理解的清晰叙述，以帮助用户更好的理解数据，讲好数据故事。

 

智能方面

 

增强数据分析帮助用户自动寻找数据规律，将相关结果自动转化为可视化图表，提高分析的效率，典型的技术包括自动洞察 ( automated insights ) 和自动可视化 ( automated visualization )。

 

自动洞察是增强分析的核心功能，但同样也是一个宽泛的概念。现在大部分的主流 BI 平台都有自动洞察的相关功能推出，且方向各有不同。自动洞察的目标就是代替一部分分析师的工作，从数据中发现潜在信息和价值。

 

自动可视化是根据数据分析结果自动选择可视化的方式进行展示，与NLQ、NLG等技术配合，将大大加快整个分析流程，特别适合业务人员使用。

 

3、增强机器学习

 

增强机器学习更加关注模型，比如特征工程、模型训练、模型部署、模型解释以及最后的模型监控和管理。与增强数据分析相比，增强机器学习面向的更多是数据科学家，通过算法将特征工程、模型选择与超参数优化，以及深度神经网络结构搜索等机器学习过程中的关键步骤自动化，帮助数据科学家更高效地得到满意的模型。

 

这部分的核心技术就是自动机器学习AutoML。早期的AutoML研究起源于Meta Learning，早在上个世纪八十年代就被提出，数十年间在机器学习领域的相关研究主要集中在超参优化。近年来随着深度学习的广泛应用，Meta-Leaning领域在学术界又一次升温。同时，自动化特征工程、自动化模型评价等技术的研究和商业化也使得AutoML的概念覆盖到了机器学习的全流程。

 

看了上面的介绍，大家对“增强分析”是否有了更加清晰的认识？我们再回顾近几年Smartbi推出的新功能就会发现，其实Smartbi很早就在增强分析领域进行布局。

 

1、增强数据准备方面

 

Smartbi的数据模型，集成一体化的ETL，无需独立部署就可以使用，并且完全可视化操作，业务人员也能参与。

 

2、增强数据分析方面

 

Smartbi的数据挖掘，提供一站式的数据挖掘服务，涵盖数据预处理、机器学习算法应用、模型训练、评估、部署、服务发布全生命周期；Smartbi NLA提供基于AI技术的自然语言分析，用户可通过“智能小麦”对系统发出语音指令，解放双手完成打开报表、切换参数、探索分析等操作。

 

3、增强机器学习方面

 

Smartbi AutoML通过三步向导化的点选，就自动完成整个模型的构建。当对同一需求使用不同算法完成建模后，只需要一步就能生成对比报告，从中挑选出最合适的进行上线。

 

正是因为对增强分析的不断投入，Smartbi在2020和2021连续两年入选Gartner增强数据分析代表厂商。虽然增强分析离全面普及的路还很长，但方向是很明确的，让我们共同期待吧！