实施数据湖的三个关键因素

数据湖的实施可以为分析所有类型的外部和内部数据，提供巨大的灵活性—必需具备三大要素。 格雷普韦恩，德克萨斯州——像任何其他工具或技术一样，数据湖是一种存储库和处理引擎，有它的优点和缺点。它的著名优点之一是，可以在不牺牲数据格式的情况下，摄取数据，为数据科学家提供更大的灵活性。

“将数据湖看作为你的疑问开发环境：你不知道你的疑问是什么，” Nick Heudecker说，他是Gartner的分析师。数据湖让你探索你所不知道的，从一个疑问引发另一个疑问。 缺点？没有适当的技能、集成和数据治理，数据湖的实施会迅速成为数据管理的噩梦。

在最近举行的Gartner Business Intelligence and Analytics Summit 上，Heudecker在他的演讲中列举了健全的数据湖的三个特征。

技能

数据科学家是任何数据湖中的必要因素。“他们拥有较高的领域理解力，较低的IT技能，但是你雇佣他们是因为数据分析技能，”Heudecker说。但是数据科学家并不是实施数据湖所需的唯一技能。Heudecker还指出： 数据工程师，运用数据科学家的研究发现，并与业务部门紧密合作； 业务专家，提供上下文； 软件工程师，专注于数据湖实施的具体细节 平民数据科学家，并不是必需的，但可以作为数据科学家的补充，即使他们的技能不完全成熟，能够完全胜任这个职能。

“数据科学是一项团队任务，”Heudecker说。“如果你想要一个成功的数据湖，你必须拥有一个成功的团队。”

集成

IT部门需要考虑如何把数据——从内部，以及越来越多的外部来源——汇总到数据湖中，这就意味着将湖与IT基础设施的其他部分相集成。 这就要求正确的数据初始分类和索引，以及数据安全，Heudecker说。

此外，CIO还不得不考虑分析技术。一些数据湖技术——比如Hadoop——可能“不支持高并发性和多租户，”Heudecker说。“他们可能不适合你选择的商业智能平台或控制面板工具。” Heudecker认为，数据分析也可以在数据湖外部产生，比如使用MySQL，SQL Server或MongoDB数据库。

数据治理和数据质量 数据治理和数据质量是确保分析正确的关键，但它们的标准和应用与传统环境中有所差别。太多可能会妨碍数据湖的分析发现；太少可能会给企业带来麻烦。

为了找到合适的界限，Heudecker推荐IT部门考虑数据基数，或数据与其他数据之间的关联，以及数据沿袭，或者“你是如何处理数据的，数据从何而来，谁改动了它，为什么，”他说。“我认为你可以放弃其他元素的治理，至少当你处于数据湖环境中。” Heudecker认为数据质量是数据湖中的“重大挑战”。他说，IT部门应该创建目录和“社交化”数据集，将其作为员工之间的一种沟通方式，它们的相关数据质量和它们的用处。

在实施数据湖之前，IT部门应该考虑业务的目标，数据湖将如何帮助实现这些目标，以及是否拥有必要的技能。 “你不必将数百万美元投资到这个基础设施。你可以从云中开始，你可以从简便和免费的工具开始，如果你今天没有数据科学团队，你可以在实施数据湖的同时打造这一团队，”Heudecker说。