北京云基地雷涛：直面大数据挑战 发现大智慧

本文系根据北京云基地副总经理雷涛的演讲文字整理

ZDNet CIO频道 7月21日 秦皇岛报道 全球化趋势的推进，整个产业链已经日益丰满，但是云计算目前离大规模的建设还有一定的障碍和周期。是什么因素在影响着云计算的大规模建设呢？安全问题？还是有其他的因素？在IaaS层面，去年北京云基地已经做了几个比较成功的案例，获得了一些经验，同时也发现了很多问题。最近的财报就暴露出一个问题，即在没有形成规模效益之前，它的盈利模式是值得怀疑的。

走过IaaS这个层面之后，云计算到底能提供哪些内容？这个周期可能发展得很快，国内有一些先进的厂商，已经提供了IaaS的服务规模，那么下一波的云计算大潮在哪里？大数据是北美目前最热的一个话题，他们那边有很多研讨会，跟大数据相关的不同层面的应用厂商也出现了。

大数据的挑战和机遇

什么是大数据？IDC给的这个Forecast，什么是EB呢？现在的数据九年以后只有2%，还有另外一组数据指出未来20万家庭上网量，可以看到数据是非常迅猛的增长。这个数据如果不用的话就是垃圾，是存在数据中心里的垃圾，如何把它从数据变成信息，从信息来产生价值？这也是云计算的一个新的核心生产力，是大数据的一个利用。

麦肯锡今年4月份的一份报告详尽阐述了几个行业中数据本身对整个经济的影响。报告指出，在医疗这个行业，大数据本身按麦肯锡的规划，能够产生3000亿美金的生产力，相当于西班牙整个医疗行业的投资规模的两倍。公共事业上，相当于2500亿欧元，基本等于希腊的GDP了。从全球的角度去看，针对这些数据产生的经济价值评估是6000亿美金，由此产生的工作岗位在北美有14万个，就是与数据评估相关的岗位，数据本身就在创造着经济效益。

数据有什么样的特性呢？例如，北美的一家医院，这个医院已经普遍开始使用社区网络了，也就是某一个医生的医嘱不是写在纸质的凭证上，而是写在了他的Twitter上，还有他个人的网页，blog。相应的这些信息是作为医疗诊断，这靠传统的IT系统是无法获取的。一些专业的数据库层面的体系肯定是不可能捕捉到这些其他社区网络上的信息，所以大数据本身也存在着一些挑战。

第二个挑战是数据的海量特性。一个人的一生都会产生大量的数据，包括你喜欢的第一本书、第一个音乐、或者某一个片断、或者给子女照的照片、或者是有纪念意义的票据，这些信息都存储出来在这个环境下涉及到的不是容量问题，而是怎么能够放进去，怎么能拿回来。

同时，也出现了经济本身的创新，出现了新的经济形态。比如说像Twitter，上次北京经贸委也谈过，头一天正好是李娜获得冠军，她拿到冠军之后五分钟之内新浪微博有30万的转发。这么多的信息本身，从政府职能角度，怎么控制这些信息？怎么利用这些信息？比如做舆情分析系统，当时也跟北京经贸委谈了。这些系统可以帮助你在公共事件出现的时候，我们不能总是在事后做，通过这些信息本身的跟踪和挖掘，我们可以做前期的工作。

对政府而言，比如房地产交易，还有公共事业中我们也做了一些成功案例，比如智能电网领域，每个信息都是局部计算之后实现总体提交，以前通过传统的架构操作这么大规模的数据是不可能的，这些都必须使用的是云技术的大数据技术。

大家每天都看财经新闻，上面每滚动的数据，比如石油为什么是117美金而不是116美金？再进一步说希腊，主权基金调低了两个级，他们的能量要比美国军队的能量还大，是怎么实现的？他们是什么样子的规模呢？比如17000个，可以在10万个处理器上实现作业，同时在小于一个小毫秒之内来实现，突破了传统的数据中心的结构框架。为什么会有SNP的时代？我们这一代是在SNP的时代成长起来的，就是因为它足够的快，足够强大。如果云技术组织起来上千台的服务器，所获得的计算能力是更大的。

如何让大数据本身产生大智慧？云基地出了很多领域可以去涉及，比如个人云，云基地收购的一些小公司，跟芬兰的一些厂商也有一些合作。基础设施本身这四块，包括基础架构。北京市政府也投资，目前是6万多台的产能，规划产能是50万台服务器，同时还有基础设施，集装箱，还有像虚拟化产品，虚拟化平台，我们的领先性也是比较强的。云基地内部也实现了自动部署工具，这是在基础架构层面。

云基地提供两方面优化体制

云计算如今是非常热的，分成了几大分支，云基地涉及到更多的是SOA，这个领域做得比较多一些。这么多应用原来是跑在服务器上，如何去优化是众多用户所要面对的。在和厂商交流时，他们说我们现在的股票交易，这些交易只能做不大，如果能突破这种方式，就是作业能不能被碎片化，有了这个帮他实现分布式计算。传统的业务，右面红色标志的是可以被云化的业务，交易类型的比如说复杂事件处理的应用，还有像交易本身的分析以及行为本身的数据，这些都是大数据所涉及到的应用领域。

云基地目前可以提供两方面的优化体制，比如说现在很多企业都在是使用分布式计算，开源是帮助大家最先尝试的方式，但是开源本身没有扩展能力，没有企业级的一些特性，云基地分装了很多样本，做出了一个平台，就是客户本人不需要自己写代码，由云基地帮助客户做事业实践，这是目前可以实现的商业实践机制。

另一种就是比较颠覆性的，即用新的峰值计算加上存储机制来实现。传统存储和新一代存储的特性不同，传统存储做不了太大，如果再扩展怎么实现？因为内部存的都是一些数据，而不是信息。什么是信息呢？当我把这些信息加上描述性标签之后，我知道这是什么内容以后才是信息，所以我们用信息存储区别于传统的模式。有了这个容器以后，完全是一个扁平的架构，经过跨省、跨地域，这样就可以实现底层呼叫，突破容量的限制。

上次就可以实现分布式计算平台来交易一个简单的例子，怎么数出这里面有多少个三角形方块，如果数左边，我们用分布式框架拆开很多，自己先数自己的，最后合并一下，这种计算方式就是属于分布式计算。比如说房地产交易，我不需要把所有数据汇总到数据中心里面去计算，大型数据库中去计算，这是不现实的，现在很多运营商也看到了，根本没有这个能力把这么多的数据全部入库。怎么做呢？就是在本地，在各个房交所里去算，这种方式就是充分利用本地资源以及利用廉价的平台资源来实现的。跟传统的结构的差异就是左边这个图，这个结构不是过去的结构，是两种使用方向。左边的更多是看到应用服务器，右边面对的是什么？是商业逻辑。这两个是不一样，计算量非常庞大，这就是云计算所带来的特点。

这种框架有什么好处？我拿医疗行业举一个例子，比如区域医疗，大家想怎么做疾病防护，从一家医院走到另外一家医院的时候，原来的X光片怎么可以继续使用？是存在了某一个系统里通过数据库来管理。现在区域医疗很难做融合，如果使用了这种新的结构，每一个X光片不需要数据库了，就像谷歌看网页一样，怎么找到网页？这种扁平结构就是我们所采用的。直接体Web的界面之后通过互联网的方式直接获取到你所需要的数据，数据中心没有必要独立建立一套系统，你就可以在数据中心获取到不同的定制的这些视频。