行业解决方案
覆盖金融、制造、医疗、政府、零售等主流行业
联系我们: 400-878-3819
服务与支持
思迈特软件提供多种自动和人工服务方式，为您的产品使用和项目保驾护航
投诉热线：199-2645-9486
投诉邮箱：complain@smartbi.com.cn
数据湖与新技术的融合与发展
商业智能BI产品更多介绍：https://www.smartbi.com.cn/
商业智能BI产品更多介绍：点击前往
数据湖与大数据技术的融合
Hadoop技术已经经历了十几年的发展，而数据湖作为第二数据平面最重要的数据平台，与Hadoop技术的融合越来越紧密，相辅相成，相得益彰。例如：HBase可以让数据湖保存海量数据；Spark 使得数据湖可以更快的批量分析海量数据；Storm，Flink，NiFi等使数据湖能够实时接入和处理IOT数据。Hadoop本身更多的聚焦于数据的处理与应用，但是对于底层的数据存储工作则并未过多的关注。例如：传统的Hadoop使用三副本技术保存数据，数据利用率只有33%，数据保存成本较高；同时客户对于Hadoop承载的数据可靠性要求也越来越高，数据保护（备份、容灾等）需求越来越明显，Hadoop3.x 开启了存储和计算分离的趋势，但这些还不能完全满足用户需求，数据湖需要从数据存储、数据治理等方面继续发展。
数据湖与云计算技术的融合
云计算采用虚拟化、多租户等技术满足业务对服务器、网络、存储等基础资源的最大化利用，降低企业对IT基础设施的成本，为企业带来了巨大的经济性；同时云计算技术实现了主机、存储等资源快速申请、使用，则同样为企业带来了更多的管理便捷性。在传统建设模式下，大数据采用的都是物理机部署模式，在应对多业务类型弹性计算资源需求以及计算性能和存储容量增幅差异化较大的情况下，计算和存储一体化的部署模式，既不够灵活，同时也不能提供最优性价比。这时利用云化技术，将大数据计算部署在云上，把存储资源与计算资源独立开来，实现计算和数据各自独立扩展，弹性伸缩。当前数据湖架构已经在公有云上得到了教完美的实现和应用，例如：Microsoft Azure 在2016年就推出了Data Lake云服务，Amazon AWS 可以基于S3、Glue等多个基本云服务快速构建出一套数据湖服务，Google内部对海量数据集的管理和搜索系统也为数据湖的数据管理指明了道路（详情参见《Managing Google’s data lake: an overview of the GOODS system》，一篇关于Google内部的海量数据集搜索与管理的论文）。
数据湖与人工智能技术的融合
近些年，人工智能技术再一次飞速发展，训练和推理等需要同时处理超大的，甚至是多个数据集，这些数据集通常是视频、图片、文本等非结构化数据，来源于多个行业、组织、项目，对这些数据的采集、存储、清洗、转换、特征提取等工作是一个系列复杂、漫长的工程。数据湖需要为人工智能程序提供数据快速收集、治理、分析的平台，同时提供极高的带宽、海量小文件存取、多协议互通、数据共享的能力，可以极大加速数据挖掘、深度学习等过程。
更聪明的大数据分析软件，快速挖掘企业数据价值！
UI主题套用，模板免费下载
-
最新上架
麦粉市场集合了海量可视化大屏模板，会员可下载到本地使用
-
物业大数据分析平台
【最新】人力资源（HR）应用 【最热】公司总体薪酬分析 -
银行风险管理
【最新】集团项目管理应用 【最热】银行经营分析 -
电网大数据分析平台
【最新】销售营销应用模板 【最热】房地产经营运营应用
