数据湖与数据仓库之间的五大差异

数据湖保留所有数据

在开发数据仓库的过程中，花费大量时间分析数据源，了解业务流程和分析数据。其结果是设计用于报告的高度结构化的数据模型。这个过程的很大一部分包括决定要包含哪些数据，而不包括在仓库中。一般来说，如果数据不是用来回答特定的问题或在一个定义的报告中，它可能被排除在仓库之外。这通常是为了简化数据模型，并节省昂贵的磁盘存储上的空间，用于提高数据仓库的性能。

相比之下，数据湖保留所有数据。不仅仅是今天正在使用的数据，还有可能使用的数据，甚至可能永远不会被使用的数据。数据也一直保存下来，以便我们能及时回到任何一点做分析。

这种方法成为可能，因为数据湖的硬件通常与用于数据仓库的硬件大不相同。商品，现成的服务器与便宜的存储相结合，使数据湖扩展到TB级和PB级相当经济。

数据湖支持所有数据类型

数据仓库一般由从事务系统中提取的数据组成，并由定量度量和描述它们的属性组成。Web服务器日志，传感器数据，社交网络活动，文本和图像等非传统数据源在很大程度上被忽略。这些数据类型的新用途不断被发现，但是消耗和存储它们可能是昂贵和困难的。

数据湖方法包含这些非传统的数据类型。在数据湖中，我们保留所有数据而不管源和结构。我们保持它的原始形式，只有在我们准备好使用它时，我们才会改变它。这种方法被称为“读取模式”与数据仓库中使用的“写入模式”方法。

数据湖支持所有用户

在大多数组织中，80％或更多的用户是“运营”的。他们希望获得他们的报告，查看他们的关键绩效指标，或者每天在电子表格中对同一组数据进行分组。数据仓库通常是这些用户的理想选择，因为它结构合理，易于使用和理解，并且专门用于回答他们的问题。

接下来的10％左右，对数据做更多的分析。他们使用数据仓库作为数据源，但往往回溯到源系统，以获取未包含在仓库中的数据，有时从组织外部获取数据。他们最喜欢的工具是电子表格，他们创建新的报告，通常分布在整个组织。数据仓库是他们的数据源，但是他们经常超出界限

最后，最后几个百分比的用户做了深入的分析。他们可能会根据研究创建全新的数据源。他们混合了许多不同类型的数据，并提出了全新的问题来回答。这些用户可能会使用数据仓库，但往往会忽略它，因为他们通常被控超越其能力。这些用户包括数据科学家，他们可能会使用先进的分析工具和功能，如统计分析和预测建模。

数据湖方法同样支持所有这些用户。数据科学家可以前往湖泊，利用他们所需要的大量不同的数据集，而其他用户则可以使用更为结构化的数据视图来提供数据。

数据湖适应变化

关于数据仓库的主要抱怨之一是需要多长时间来改变它们。在开发过程中花费了相当多的时间来获得仓库的结构。一个好的仓库设计可以适应变化，但是由于数据加载过程的复杂性以及为使分析和报告容易进行而做的工作，这些变化将必然消耗一些开发人员资源并花费一些时间。

许多业务问题都迫不及待地让数据仓库团队调整系统来回答问题。自助服务商业智能的概念引发了日益增长的对更快答案的需求。

另一方面，在数据湖中，由于所有数据都是以原始形式存储的，并且总是可以被需要的人访问，所以用户有权超越仓库结构以新颖的方式探索数据并回答问题在他们的步伐。

如果一个探索的结果被证明是有用的，并且有一个重复的愿望，那么可以应用一个更正式的模式，并且可以开发自动化和可重用性来帮助将结果扩展到更广泛的观众。如果确定结果不是有用的，则可以丢弃该结果，并且没有对数据结构进行改变，也没有消耗开发资源。

数据湖提供更快的洞察力

这最后一个区别实际上是其他四个的结果。因为数据湖泊包含了所有的数据和数据类型，因为它使用户能够在数据被转换，清理和结构化之前访问数据，使得用户能够比传统的数据仓库方法更快地获得结果。

但是，这种对数据的早期访问是有代价的。通常由数据仓库开发团队完成的工作可能无法完成分析所需的部分或全部数据源。这让驾驶座位的用户可以根据需要探索和使用数据，但上述第一层业务用户可能不希望这样做。他们还只是想要他们的报告和关键绩效指标。

在数据湖中，这些操作报告消费者将利用数据库中的数据的更加结构化的视图，类似于以前在数据仓库中的数据。不同之处在于，这些视图主要是作为元数据存在于湖泊中的数据之上，而不是物理上需要开发者改变的刚性表格。