行业解决方案
覆盖金融、制造、医疗、政府、零售等主流行业
联系我们: 400-878-3819
服务与支持
思迈特软件提供多种自动和人工服务方式，为您的产品使用和项目保驾护航
投诉热线：199-2645-9486
投诉邮箱：complain@smartbi.com.cn
数据清洗的原理及步骤
商业智能BI产品更多介绍：https://www.smartbi.com.cn/
商业智能BI产品更多介绍：点击前往
数据清洗的原理
数据清洗原理：利用有关技术如数理统计、数据挖掘或预定义的清理规则将脏数据转化为满足数据质量要求的数据。
数据清洗的步骤
（1）准备
包括需求分析、大数据类别分析、任务定义、小类别方法定义、基本配置，以及基于以上工作获得数据清洗方案等。通过需求分析明确知识库系统的数据清洗需求，大数据类别分析将大数据归类以便同类数据进行分析，任务定义要明确具体的数据清洗任务目标，小类别方法定义确定某类非清洁数据合适的数据清洗方法，基本配置完成数据接口等的配置，要形成完整的数据清洗方案，并整理归档。
（2）检测
对数据本身及数据间的预处理检测包括相似重复记录、不完整记录、逻辑错误、异常数据等，并且对检测结果进行统计，全面获得的数据质量信息，并将相关信息整理归档。
（3）定位
对检测结果的归档信息进行数据质量进行评估，获得非清洁数据的定位并进行数据追踪分析，分析非清洁数据及由此可能的知识表示的影响，分析产生非清洁的根本原因；进而确定数据质量问题性质及位置，给出非清洁的修正方案，并将相关信息归档。根据定位分析情况，可能需要返回“检测”阶段，进一步定位需要修正数据的位置。
（4）修正
在定位分析的基础上，对检测出的非清洁数据进行修正，包括非清洁数据标记、不可用数据删除、重复记录合并、缺失数据估计与填充等，并对数据修正过程进行存储管理。
（5）验证
对修正后的数据与任务定义的符合性进行比对验证，如果结果与任务目标不符合，则做进一步定位分析与修正，甚至返回“准备”中调整相应准备工作。
UI主题套用，模板免费下载
-
最新上架
麦粉市场集合了海量可视化大屏模板，会员可下载到本地使用
-
物业大数据分析平台
【最新】人力资源（HR）应用 【最热】公司总体薪酬分析 -
银行风险管理
【最新】集团项目管理应用 【最热】银行经营分析 -
电网大数据分析平台
【最新】销售营销应用模板 【最热】房地产经营运营应用
