通过培训缩小IT员工之间的大数据技能差距

根据CompTIA最近针对500名美国商业和IT主管的调查显示，50％的企业在利用数据方面是领军；71％的企业在利用数据方面处于平均或滞后水平，他们觉得他们所在企业的某些工作人员或多或少的缺乏数据管理和数据分析方面的能力。

这些企业真正看到了数据处理失败会给企业带来的高成本，从本可以用于其他业务领域的时间成本到造成企业内部混乱所带来的销售损失，以及缺乏灵活性等等。

研究分析师预测，随着时间的推移，企业员工数据管理和分析技能的不足，只会变得更糟。据麦肯锡全球研究所估计，到2018年，单单在美国，缺乏大数据技能的企业员工数量就会达到170万，其中包括14万到19万拥有深厚的技术和分析能力的专家和150万具备大数据分析和大数据输出技能的普通经理和分析人员。

但是，CompTIA的研究和市场情报副总裁、蒂姆•赫伯特则表示，情况可能并不像我们所想象的那样糟糕。

“可能会出现的情况是，对于财富100强的企业，他们可能会出现技能员工短缺的状况。”赫伯特说。“而对于大多数中小型企业而言，他们可能将通过对现有员工的再培训和招聘额外的技术人员相结合的方法来满足他们业务所需的技能要求。随着大数据相关工具的功能变得日趋成熟易用，这在一定程度上也有助于他们掌握更多的分析技术。就如同许多其他技术一样，某些人从未受过专业的训练，但却有处理数据分析的天赋。

Hadoop并非是莫测高深的

Cloudera公司是一家最流行的Hadoop分布式提供商，该公司教育服务副总裁SaraSproehnle就认可Hadoop其实一点也不难以理解的观点。

“训练真的已经成为了我们Cloudera公司工作的重要组成部分。”她说。“Hadoop是一项新的技术，员工对该技术的掌握程度必然存在着差距。但是企业可以很容易的针对员工进行交叉训练。这项技术并非是难以理解的。您只需要把现有的开发人员、分析师和管理员召集在一起，进行交叉培训。”

案例：Persado是一家“市场语言工程”的先驱。该公司帮助品牌企业优化市场信息，通过系统的方法，利用数学、计算语言学和大数据分析，实现针对目标受众的营销信息的数字交互。

“我们可以查看在不同营销信息的‘基因’，并把它进行分解，并建立备份，使用数学、语言学和技术，使其成为可用的营销信息，然后营销人员就能够直接利用这些信息在市场上与消费者进行交互。”Persado公司的首席财务官MatthewNovick说。

为了实现这一目标，需要连续的数据采集和针对庞大数据量的查询能力。而Persado的业务则取决于其数据仓库。

Persado的开发团队专注于确保该公司的基础设施是对准其数据科学家的需求而研发的，包括关键性能指标（KPI）定期生成报告、管理异构数据源的数据、编制定制的分析和实施具体的统计算法。

但在Persado公司成立后没多久的2010年，该公司用于供给其数据仓库的关系型数据库管理系统（RDBMS变得迟缓。其由ChristosSoulios领导的开发团队、软件开发团队和应用程序架构师便开始迁移到一个NoSQL环境。凭借这一NoSQL环境，其分析和报告变得更加成熟，然后，他们需要耦联机分析处理（OLAP）系统其自身的技术堆栈。

Soulios决定，ApacheHadoop是收集、处理Persado的异构数据源的最合适的解决方案，包括在亚马逊网络服务（AWS）S3中的MongoDB、MySQL配置服务器和Apache日志填充的结构化和半结构化的文件，使用建立在ApacheKafka和ApacheZooKeeper的库。

但是，这些任务是说起来容易做起来难。Persado没有专业的大数据工程师，其工作人员需要增长这方面的能力，并扩展其系统。此外，由于Persado是一家总部设在伦敦和纽约的全球性的跨国企业，但其开发团队则位于希腊雅典，使得大数据人才更难聚集。

“我们的开发团队和大部分资源都在希腊雅典。”Persado的工程副总裁XinyuHuang说。“不像在美国，大数据已经发展得比较成熟了，在希腊，我们仍处于早期阶段。”

Persado致力于培养其团队使用大数据工具

由于无法招到相关的人才，Persado决定自行培养。Huang说。具体而言，Soulios与Cloudera的大学合作。Soulios和开发团队与Cloudera大学的课程团队为Persado的员工们定制一个为期一周的专门的现场培训课程。

“我们开始受益于我们与Cloudera的合作的决策了，因为没有其他公司能够为我们提供一套完整的数据分析师培训，帮助我们有针对性的培训开发者和分析师，这是我们最重要的优先工作事项之一。”Soulios在谈到ApacheHive和ApachePig课程时说。“该讲习班还包括Cloudera的ApacheHadoop开发人员培训CCDH认证与课后测试。”

“企业的内部培训制度是很重要的。”Huang补充说。“其使得我们的业务团队开始与技术团队有更深入的了解和互动。我们的业务固然有相关的数据，但是我们团队的数据处理是针对一个特设的基础数据，逐个的分析数据块。而通过有针对性的培训，真的有助于我们的相关业务团队了解这些工具。从长远来看，最有益的是使得业务团队开始与具有大数据技术工作经验的技术人员进行交流与互动。同时也开阔了开发人员的心态和视野，特别是我们位于雅典当地的开发人员。”

Hadoop是一个改变游戏规则的技术

培训结束后，Huang说，使用Hadoop、Hive和Pig，Persado已成功建立了其新的数据仓库功能。

“我们发现，Hadoop真的是一种改变游戏规则的新技术。”Sproehnle说。“这并不是一项人们无法学习和掌握的技术，但他们需要投入相关的培训。人们真的需要学习这们全新的技术。我们发现，如果人们还处在摸索阶段时，想要将Hadoop投入生产真的很难。但如果您投资了一个星期的训练之后，您真的就可以很快的开始最大化您的投资了。”