大数据思维的五个维度

文 | Smartbi大数据百科 2021-08-31 阅读次数:9636 次浏览

商业智能BI产品更多介绍:https://www.smartbi.com.cn/

商业智能BI产品更多介绍:点击前往

    1、大数据定量思维

    即提供更多描述性的信息,其原则是一切皆可测。不仅销售数据、价格这些客观标准可以形成大数据,甚至连顾客情绪(如对色彩、空间的感知等)都可以测得,大数据包含了与消费行为有关的方方面面;


    2、大数据相关思维

    一切皆可连,消费者行为的不同数据都有内在联系。这可以用来预测消费者的行为偏好


    3、大数据实验思维

    一切皆可试,大数据所带来的信息可以帮助制定营销策略。


    这就是三个大数据运用递进的层次:首先是描述,然后是预测,最后产生攻略。


    4、大数据全样思维

    抽样又称取样,是从欲研究的全部样品中抽取一部分样品单位。其基本要求是要保证所抽取的样品单位对全部样品具有充分的代表性。抽样的目的是从被抽取样品单位的分析、研究结果来估计和推断全部样品特性,是科学实验、质量检验、社会调查普遍采用的一种经济有效的工作和研究方法


    抽样在一定历史时期内曾经极大的推动了社会的发展,在数据采集难度大、分析和处理困难的时候,抽样不愧为一种非常好的权宜之计。


    虽然抽样保证了在客观条件达不到的情况下,可能得出一个相对靠谱的结论,让研究有的放矢。但是抽样也带来了新的问题。首先抽样是不稳定的,从而导致结论与实际可能差异非常明显。抽样很容易在极端情况下结论得到不稳定的极端表现。


    在很多情况下,不能抽样。例如人口普查为了得到准确的数据不会采用抽样,而是采用人口普查。所谓人口普查,就是获得中国所有人的样本,计算中国的精确人口数量。


    大数据与“小数据”的根本区别在于大数据采用全样思维方式,小数据强调抽样。抽样是数据采集、数据存储、数据分析、数据呈现技术达不到实际要求,或成本远超过预期的情况下的权宜之计。随着技术的发展,在过去不可能获取全样数据,不可能存储和分析全样数据的情况都将一去不复返。大数据年代是全样的年代,抽样的场景将有利于小,最终消失在历史长河中。


    5、大数据容错思维

    前面已经提到,在小数据年代,我们习惯了抽样。由于抽样从理论上讲结论就是不稳定的。一般来说,全样的样本数量比抽样样本数量的很多倍,因此抽样的一丁点错误,就容易导致结论的“失之毫厘谬以千里”。为保证抽样得出的结论相对靠谱,人们对抽样的数据精益求精,容不得半点差错。


    这种对数据质量的近乎疯狂的追求,是小数据年代的必然要求。这样,一方面极大的增加了数据预处理的代价,一大堆的数据清洗算法和模型被提出,导致系统逻辑特别复杂。另一方面,不同的数据清洗模型可能会造成清洗后数据差异很大,从而进一步加大数据结论的不稳定性。最后,在现实中,世界本身就是不完美的,现实中的数据本身就是存在异常、纰漏、疏忽,甚至错误。将抽样数据做了极致清洗后,很可能导致结论反而不符合客观事实。这也是为什么很多小数据的模型在测试阶段效果非常好,一到了实际环境效果就非常差的原因。


    大数据年代,因为我们采集了全样数据,而不是一部分数据,数据中的异常、纰漏、疏忽、错误都是数据的实际情况,我们没有必要进行任何清晰,其结果是最接近客观事实的。


申请试用 了解更多

2024年度精选《思迈特制造行业BI最佳实践合集》

立即下载
Copyright© 广州思迈特软件有限公司  粤ICP备11104361号

电话咨询

售前咨询
400-878-3819 转1

售后咨询
400-878-3819 转2
服务时间:工作日9:00-18:00

微信咨询

添加企业微信 1V1专属服务