行业解决方案
覆盖金融、制造、医疗、政府、零售等主流行业
联系我们: 400-878-3819
服务与支持
思迈特软件提供多种自动和人工服务方式，为您的产品使用和项目保驾护航
投诉热线：199-2645-9486
投诉邮箱：complain@smartbi.com.cn
大数据平台的架构及其搭建步骤
商业智能BI产品更多介绍：https://www.smartbi.com.cn/
商业智能BI产品更多介绍：点击前往
大数据平台的架构
（1）运维平台主要负责整个大数据平台的任务调度、任务监控、元数据管理、权限管理等，分别由调度系统、任务监控中心、元数据管理系统、权限管理系统等系统组成。
（2）大数据采集平台主要负责把数据采集到大数据仓库平台中。企业的大数据来源从大的角度来说，主要是从三个方面获取数据，业务系统、行为日志采集系统、外部数据来源。每一个方面来源又包含途径，大家可以看上面的图就了解。这里特别要强调的是外部数据来源，可以通过网络爬虫工具收集，通过和相应的合作方进行数据交换，通过从数据商那里采购过来，也有极少部分可以通过一些大公司的开放平台接口获取，比如阿里、腾讯等。
（3）大数据基础平台，在传统的关系数据库时代，这个平台也是企业必须要做的平台，只不过当时叫数据仓库系统，在大数据时代，我称作为大数据仓库基础平台。这部分是整个大数据平台的核心。我们接下来会详细讨论。
（4）大数据门户，是数据成果的集成一体化平台，包含大数据分析平台和数据应用平台。大数据门户作为整个数据部门的窗口，所有数据研究成果都会展现在数据门户中，极大的方便了企业各层级、各职能人员使用数据。我们接下来也将会详细讨论下这部分内容。
（5）用户服务，使用我们数据的人主要有公司的各层级的管理人员、数据分析人员、运营人员、产品经理、技术研发工程师、企业的投资相关方，还可能有部分的公司提供对外的数据服务。提供服务的方式有多种多样，或通过大数据门户、或通过API接口、或是直接在分析报告中体现。
大数据平台的搭建步骤
（1）Linux系统安装
（2）分布式计算平台/组件安装
当前分布式系统的大多使用的是Hadoop系列开源系统
（3）数据导入
数据导入的工具是Sqoop
（4）数据分析
数据分析一般包括两个阶段：数据预处理和数据建模分析
数据预处理这个过程可能会用到Hive SQL，Spark QL和Impala
数据建模分析最好用的是Spark
（5）结果可视化及输出API
可视化一般式对结果或部分原始数据做展示
UI主题套用，模板免费下载
-
最新上架
麦粉市场集合了海量可视化大屏模板，会员可下载到本地使用
-
物业大数据分析平台
【最新】人力资源（HR）应用 【最热】公司总体薪酬分析 -
银行风险管理
【最新】集团项目管理应用 【最热】银行经营分析 -
电网大数据分析平台
【最新】销售营销应用模板 【最热】房地产经营运营应用
