企业在实施大规模数据湖之前,应该从小规模开始,并将该技术作为对现有分析系统的扩展。
最近,数据湖已经开始在IT行业涌现。数据湖是与附加数据管理系统相结合的数据存储,而附加数据管理系统提供关于数据的分析,作为数据清理过程的一部分,通常是从其他分析环境(例如数据仓库或数据集市)剥离的能力。
例如,数据仓库的提取,转换和加载预处理消除了告诉系统何时到达或插入“操作数据存储”的日志。
但在当今的行业中,数据湖似乎至少有两个定义。一个来自存储公司的是,数据湖是允许元数据存储的磁盘存储基础设施。另一个主要是营销驱动的,是混合通常不混合的多个数据存储的一个湖。根据专家的定义,没有销售全面数据湖的供应商,而是人们使用Hadoop和本地工具访问数据来将它们拼凑在一起。
由于最初的供应商炒作让位于真实世界的实验,用户发现数据市场的最佳实践并不适用于数据湖。为了避免早期用户的错误,适当地解决数据湖的实施,而不是大规模。以下是一些在处理数据湖时证明有用的最佳实践。
记住,数据湖是探索性的
数据湖实施应该允许组织以特别的和探索的方式扩展现有的分析。
从当前分析系统不会及时获取的高度数据的核心(例如客户事务日志)中增长数据湖中的数据类型。大多数现有的分析不足以真实了解应用程序的行为。数据仓库和Hadoop等数据管理方案失去了重要的数据。
大数据分析系统提供商Pentaho公司的首席技术官James Dixon在博客上例举了一个例子:数据仓库等系统并不捕获客户购买过程中的每一步,而是事务日志。这样的购买过程的设计对于典型的数据架构师似乎是直接的,但是在每个步骤中可能有数分钟甚至数小时的滞后。
通过发现流程中的滞后,用户可以开始与客户面对的数据湖实现,购买相关的交易。分析对企业的整体分析工作具有探索性和重要性,因为一旦用户更彻底地分析客户日志时间戳,还不清楚会发现什么。
数据集市,湖泊和仓库之间有什么区别?
数据集市是数据仓库的变体。数据仓库存储来自整个组织的较旧的数据,用于报告和分析。多个数据集市大致相当于数据仓库,通常在自己的IT环境中为子公司服务。用户可以有多个数据集市进入数据仓库,或者只是松散耦合的数据集市。
集成是实现数据湖的关键
将数据湖与其他企业数据架构(包括数据治理和主要数据管理)完全集成也很重要。了解哪些数据类型对数据仓库或数据集市很重要,以及原始数据是否正确和一致。实施数据治理实践,以避免分析有缺陷的数据。
数据湖的长期发展
数据湖有潜力。但是,除非人们能够更好地了解自己可以长期提供什么,否则这很可能只是一个时尚,除非他们的利益比迄今为止具体显示的更广泛。
Dixon在并入时序和间距时的数据仓库问题的例子只是当今的分析继续依赖简单统计数据,而不考虑什么“坏”数据可以告诉人们的一个实例。由于数据湖实施可以发掘分析中的关键“陷阱”,因此它值得任何企业进行探索。然而,从长远来看,这需要实验和仔细平衡数据湖和整体信息架构。
好文章,需要你的鼓励
Jabra 推出 PanaCast 40 VBS:首款专为小会议室设计的 180° Android 智能音视频一体机
这是一项关于计算机视觉技术突破的研究,由多家知名院校联合完成。研究团队开发了LINO-UniPS系统,能让计算机像人眼一样从不同光照下的照片中准确识别物体真实的表面细节,解决了传统方法只能在特定光照条件下工作的局限性,为虚拟现实、文物保护、工业检测等领域带来重要应用前景。
字节跳动智能创作实验室发布革命性AI视频数据集Phantom-Data,解决视频生成中的"复制粘贴"问题。该数据集包含100万个跨场景身份一致配对,通过三阶段构建流程实现主体检测、多元化检索和身份验证,显著提升文本遵循能力和视频质量。
这篇文章介绍了北京人工智能研究院开发的OmniGen2模型,一个能够同时处理文字转图像、图像编辑和情境生成的全能AI系统。该模型采用双轨制架构,分别处理文本和图像任务,并具备独特的自我反思机制,能够自动检查和改进生成结果。研究团队还开发了专门的数据构建流程和OmniContext评测基准,展现了开源模型的强大潜力。