大数据：CIO应该知道的那些事

　　在一系列针对大数据提出建议的文章中，IDG集团PCWorld记者Joab Jackson所写的《大数据，CIO应该知道的五件事》我认为绝对是最好的一篇。他提出的五点建议在我们与客户的交谈中几乎每次都会被提到：

　　1、大数据的入门成本相对较低。我们现在看到的大数据的入门成本，至少按照CapEx的观点，这个成本是相当低的。诸如Hadoop、Cassandra、MongoDB、MapReduce和其他开源工具，再加上相对低廉的云计算成本，让组织可以不必花费巨大的成本便可去收集、储存和分析其数据集合了。

　　2、有用的数据可来自任何地方。一度曾经被“丢弃在地”的数据如今是给大数据分类的一种方法，Gazzang CEO Larry Warnock将大数据比作撒向数据海洋的巨大渔网。客户们常常把客户交易历史、地理位置和某些个人识别信息如医疗记录及银行账号等的总和视为大数据。如何使用这些看似孤立的数据碎片来提升业务，或者推进某个项目，正是大数据要做的事情。

　　3、需要有新的大数据专业人才。大数据会成为下一个增长性行业吗？我们希望如此，而且确信如此。

　　4、大数据不需要组织事先积累。我们把大数据比喻为一个“垃圾丢弃场”。我们已将大数据比作被丢弃在地的无用资料、打捞数据碎片的渔网和垃圾丢弃场。如果说大数据还是个婴儿，那他也是个正在治疗中的孩子。

　　但无论如何有一点是对的。大数据既能让我们摄取任何想要的东西，又会让我们担忧这么庞大的数据今后如何使用。

　　5、大数据不只是Hadoop。如今已有不少实际流行的开源工具可帮助你分析海量的数据。Joab提到的工具有Splunk、HPCC系统和MarkLogic。也有用户在使用MongoDB、Infochimps的Ironfan，以及用于云基础设施自动化的Chef等等。不久后，Gazzang还会给市场带来一款新的大数据监控和诊断工具——zOps。

　　最后，我还想给Joab的五点建议再增加第六点。

　　6、开始之前必须考虑安全。我们常常听说，在大数据环境中，企业会任由数据处于未受保护的状态，例如用户名和密码、信用卡数据或医疗数据等都处于可能被暴露的风险中。幸运的是，到目前为止，这种风险尚未伤及到谁(就我们所知而言)，但这可能只是个时间问题而已。

　　如何把安全纳入现有的大数据集群将是一个挑战。大数据集群可能包含数千个节点。理解数据是如何收集的，哪些数据值得保护等等，都需要花费时间。

　　数据加密及密钥管理可以作为防范未授权访问或攻击的最后一道防线。其成本相对便宜，而且也不会显着地影响到大数据的性能或可用性。所以我们对客户提出的忠告是，如果你认为企业环境中有某些敏感数据，那么首先必须保障其安全。