大数据时代，数据湖并不能彻底取代数据仓库
发布时间：2021-06-10 11:46:21 所属栏目：大数据 来源：互联网
导读：数据仓库为组织了解其历史业务表现和推动持续运营提供了一个接入窗口，为数据分析师和业务用户提供了诸如客户行为、业务趋势、运营效率和销售等方面的信息。 但作为数据管理体系结构的一部分，在对数据仓库平台进行投资之前，首先还是要检查您的组织是否真的
|
数据仓库为组织了解其历史业务表现和推动持续运营提供了一个接入窗口，为数据分析师和业务用户提供了诸如客户行为、业务趋势、运营效率和销售等方面的信息。
但作为数据管理体系结构的一部分，在对数据仓库平台进行投资之前，首先还是要检查您的组织是否真的需要一个数据仓库平台，以及通过实施部署，组织可以借此获取哪些业务收益。相关的，您必须考虑不同的数据仓库部署情况——在企业范围内还是部门范围内，在本地还是在云中。
您还需要确定，通常存储在大数据系统中的非结构化和半结构化数据，是否会成为数据仓库环境的组成部分，并确定是否将用于BI、企业报告和在线分析处理(OLAP)等应用的传统数据仓库，与数据处理和大数据分析管理集成在一起。最后，您必须将您的数据仓库用例与最合适类型的数据仓库平台相匹配。
为什么需要数据仓库?
数据仓库的一般概念非常简单：从支持业务流程的操作系统中定期提取数据副本，并将其加载到单独的存储库中，在该存储库中，数据将被合并，然后可用于分析和报告。之后，业务用户和分析师可以通过BI和分析工具、仪表板、入口和准备好的报告来访问数据。
在下面这些情况下，数据仓库可能更容易发挥其价值：
公司在做出有效的商业活动报告方面遇到了难题，因为所需要的数据不容易获得。
不同部门和用户组会将业务数据复制到电子表格中以进行分析，而这些电子表格并非总是相互一致的。
数据质量和准确性的不确定性，导致企业高管和业务经理会质疑报告的准确性。
针对生产数据库的BI报告会每晚延迟，或在月底进行的交易数据处理，需要扩展处理窗口。
在工作日对数据库运行临时查询会降低操作系统的速度，从而影响内部用户和客户、供应商以及其他外部用户。
一个正确数据仓库实施策略可以帮助您的组织准确地回答有关业务运营的问题，如发生了什么、为什么。数据仓库可将来自不同位置和来源的数据组合到中央存储库中，从而提高数据的可访问性。当数据移至数据仓库时，通常还会对其进行清理和转换，以使其与分析一致，这将有助于提高查询结果和报告中信息的质量。
此外，一旦数据仓库部署完成并得到积极使用，由于BI、报告和分析活动已从生产数据库中移出，运营工作流程可能会变得更有效率。
数据仓库的部署
各个组织之间的数据仓库环境可能会有很大差异。从体系结构的角度来看，部署可以遵循多个路径——如一个企业数据仓库(EDW)，一组较小的数据集市，或这两种方法的组合。
EDW包含来自企业操作系统的所有相关数据，并且可能包含一些从外部数据源收集的数据。它是用于BI和分析数据的单个统一存储库，可以在所有部门和业务部门中使用。因此，建立EDW通常是一项艰巨的任务，尤其是在大型企业中。
在EDW架构中，组织还可以在其操作系统和企业数据仓库之间实施运营数据存储(ODS)作为过渡步骤。将运营数据复制到ODS，然后提取并加载到数据仓库中。ODS可以用作尚未经过转换的、无法用于分析的数据的暂存区，同时可以用于运行近实时的查询，这些查询需要最新的业务运营的详细相关数据，而不是数据仓库中可用的数据。
数据集市是小型化的数据仓库，专注于各个业务部门和职能领域。当需要满足部门对BI的特定需求时，组织通常会选择建立数据集市，并且优先考虑报告功能。数据集市不需要涵盖整个企业的庞大项目，而是更加集中，并且可以更快地提供业务收益。
因此，数据集市的方法使组织可以通过一次处理一个业务的各个部分——而不是构建整体的EDW——以迭代方式开发数据仓库体系架构。企业可以选择部署一个或多个数据集市，具体取决于组织的规模和结构。
然后，决定组合采用这两种方法的组织，可以将不同的数据集市彼此集成以创建虚拟EDW，或以物理方式填充一个EDW。另一种方式是，以EDW开始的组织可以将仓库数据的子集提供给后来建立的数据集市，以此分离业务运营。
 （编辑：肇庆站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
