“新基建”方兴未艾，数据挖掘如何为产业数字化转型赋能？

发布时间：2020-05-25      游览量：4391

• 数据挖掘大数据挖掘技术数据挖掘软件

如今，我们的生活、工作已经全面进入数字化的时代，数字经济是中国未来发展的新动能。传统经济发展离不开公路、铁路、机场等“铁公基”的建设，数字经济同样也离不开新型基础设施建设，我们称之为“新基建”。

在“新基建”覆盖的七大领域中，5G基站建设、大数据中心、人工智能、工业互联网都是数字经济的基础设施，与各行各业息息相关。

新能源充电桩、特高压、高铁/轨交虽然不是基础设施，但他们是“新基建”投资的重点行业，其发展也离不开数字经济。

“新基建”不仅可以直接拉到经济，更重要的是助力数字经济。“新基建”可以对传统产业进行全面的基础改造，推动产业结构优化升级；还可以促进信息技术的市场化应用，推动数字产业形成和发展。

数字经济背景下，所有的数字化基于数据进行，数据是“新基建”的核心：5G提供数据通信网络，大数据中心提供数据管理和算力，人工智能提供数据应用手段，工业互联网和新能源充电桩等提供数据应用场景。

同时，数据也是一座宝藏，蕴含着巨大的价值，充分利用可以推动产业的数字化转型。

如果说5G和大数据中心是数字化的“硬件”，那么，人工智能就是数字化的“软件”。

人工智能基础设施建设将带动机器学习、计算机视觉、自然语言处理等技术不断进步，促进智慧医疗、智慧交通、 智慧金融等产业快速发展。

 

◆ 数据挖掘是打开数据宝藏的钥匙

人工智能有一个重要的应用：数据挖掘。作为近年来新兴的一门计算机边缘学科，其在国内外引起了越来越多的关注。

并且随着数据挖掘技术的不断改进和数据挖掘工具的不断完善，数据挖掘必将在各行各业中得到广泛的应用。

数据挖掘是从大量的数据中通过算法发现有价值信息的过程，这项以数据库技术、统计分析、人工智能等为依托的技术出现有其必然性和可行性。

首先，数字经济的到来对数据的处理和利用提出了更高的要求，而传统的数据处理方法对大量数据无从下手，必然要求有更为先进的数据处理技术。

其次，大数据和云计算技术的不断发展，使得借助计算机来完成大量数据的处理和分析成为可能。

 

在智慧城市领域，数字技术把基础地理数据、正射影像、街景影像数据、全景影像数据、三维模型数据结合在一起，这产生了大量的地图数据，而在智慧城市的建设和应用中，将产生从TB到PB级越来越多的数据，从而进入大数据时代。

而对于这些大数据来说，传统的数据分析工作已经不适合对其进行合理的分析，导致了一种“数据爆炸但知识贫乏”的现象。

目前在智慧城市的智慧交通，智慧国土等应用中的数据库系统主要局限于实现数据的录入、查询、统计等功能，但无法有效地发现数据中存在的关系和规则，很难把握数据背后隐藏的知识，无法根据现有的数据预测未来的趋势。

这在一定程度上阻碍了智慧城市的应用与普及。而数据挖掘技术恰恰是解决这一难题的最佳方法。

应用数据挖掘技术，可以从GIS数据库中发现更多的地理知识和地理规律、对专题数据进行有效、合理的分析，从而达到城市的智能运行、政府的科学决策、公众的便捷生活及企业的高效运营。

 

在银行业，数据挖掘同样有很多的应用场景，其中一个就是风险管理，如信用风险评估。可通过构建信用评级模型，评估贷款申请人或信用卡申请人的风险。

一个进行信用风险评估的解决方案，能对银行数据库中所有的账户指定信用评级标准，用若干数据库查询就可以得出信用风险的列表。

这种对于高/低风险的评级或分类，是基于每个客户的账户特征，如尚未偿还的贷款、信用调降报告历史记录、账户类型、收入水平及其他信息等。

 

对于银行账户的信用评估，可采用直观量化的评分技术。将顾客的海量信息数据以某种权重加以衡量，针对各种目标给出量化的评分。

以信用评分为例，通过由数据挖掘模型确定的权重，来给每项申请的各指标打分，加总得到该申请人的信用评分情况。银行根据信用评分来决定是否接受申请，确定信用额度。

过去，信用评分的工作由银行信贷员完成，只考虑几个经过测试的变量，如就业情况、收入、年龄、资产、负债等。现在应用数据挖掘的方法，可以增加更多的变量，提高模型的精度，满足信用评价的需求。

 

毫无疑问，数据挖掘是打开数据宝藏的一把钥匙，但是其普及推广还是难度很大。

主要原因是数据挖掘的技术门槛过高，涉及到机器学习、模型算法、python等很多专业的技术，一般的IT人员很难掌握。虽然市场上也有一些专业的平台软件，但它们的易用性还是不够，学习起来有一定的难度。所以，一款简单易用的可视化数据挖掘平台就显得非常重要。

由思迈特软件出品的Smartbi Mining操作起来非常简单，建模、训练、部署等都是在一个界面完成。业务人员可以参与，整个过程很直观。

里面有很多内置的模型算法，模型参数也是默认调整到最优状态，大大降低了使用门槛。而且，系统随时可以扩展，处理海量数据也不会出现问题。

 

◆ 数据挖掘的应用实践

数据挖掘项目成功，除了有成熟、易用的产品，更重要是要有专业的咨询与实施团队。思迈特软件有丰富的数据挖掘实践经验，在不同的行业有很多成功的案例。

案例1：新冠病毒感染临床诊断

在疫情爆发期间，新型冠状病毒主要是以核酸检测阳性为诊断标准。但是，核酸检测效率低，并且不能保证100%准确。

通过医生临床诊断也能识别出新冠病毒感染者，但需要医生具备丰富的临床诊断经验。

那么，如何在短期内让一般的医生也具有丰富的经验，将对疫情的快速防控起到重要作用。

这个时候，思迈特软件基于Smartbi Mining开发的“新冠病毒感染临床诊断系统”就派上用场了。

系统利用人工智能机器学习算法，学习训练资深医生的临床诊断经验，训练完成具有高准确率的新冠病毒感染识别模型，辅助医生快速进行临床诊断。

在发生类似的紧急公共卫生事件时，能够为快速诊断、快速隔离、快速治疗病患赢得时间，降低病毒传播速度及病患的死亡率。

系统能够快速地训练完成新冠病毒感染诊断识别模型，具备对数据接入、数据处理、模型训练、模型评估、模型部署等整个过程的成熟支撑。

 

系统依靠的数据包括流行病学史调查数据、病人临床表现数据以及一些实验室检查数据，并直接使用这些特征作为训练模型的特征数据。

将加载的特征数据按照7:3的比例拆分，70%作为训练模型数据，30%作为测试验证模型数据，选择分类模型中的逻辑回归算法、梯度提升决策树，进行诊断模型训练。

使用拆分的30%的数据进行模型验证，验证训练后的诊断模型对新数据的预测能力。

案例2：银行企业违约风险预警

银行的“企业违约风险预警”项目，依据对公客户结算行为，包括交易频率、交易金额、交易对手等信息作为重要基础信息，结合客户行业、规模、经营状况刻画客户画像。

利用Smartbi Mining提供的逻辑回归模型搭建客户逾期、违约预警。在模型成熟后，利用CRM系统打通客户经理通知渠道，及时向客户经理推送预警数据，做好风险管理。 

案例3：保险客户精准营销

在Smartbi Mining里面，首先通过数据源选取准备营销的客户，再基于配置好的条件对客户进行细分。

这些操作通过拖动相应的功能图标，再进行简单的参数配置就可以实现。接下来就是根据不同的客群进行不同的内容沟通，需要结合客户的历史数据通过模型算法来计算，再往下要判断客户有没有在短信里面点过什么链接，或者留下什么信息，这些数据返回以后下面的节点会做出判断，然后自动去跟踪营销的执行结果。

 

除了前面提到的案例，数据挖掘还能应用到智慧交通、智慧环保、智慧安防、智慧能源等等诸多领域，应用范围十分广泛。随着“新基建”的不断落实，产业数字化转型的不断推进，未来数据挖掘将会有更多的应用场景和需求，让数据为我们的生活、工作创造出更大的价值。

思迈特软件也将紧跟技术发展趋势，不断打磨数据挖掘产品，为国家的数字经济发展贡献自己的一份力量。