迎战大数据时代的“生存危机”

　　adMarketplace网站是一家搜索联盟和广告平台提供商，在失去了eBay这一坚强后盾之后，他们抓住了大数据这棵救命稻草。重建后的adMarketplace终于逆流而上，成功扩张了它的互联网领地。

　　所谓搜索联盟，就是根据网站搜索情况，针对潜在客户投放相关广告的模式。adMarketplace的系统经大数据机器支持，浴火重生，赢得了诸如索尼、沃尔玛和GM这样的巨头客户。不仅如此，正因为网站的大数据策略，公司才能够在今年的Constellation SuperNova大奖中争取到半决赛的席位;该奖项专门表彰采用创新方式满足客户需求的企业。

　　作为一家搜索广告公司，adMarketplace使用传统的点击付费平台，每天近乎实时地处理几十亿条广告需求。广告商关注于关键词，对用户的每一次点击进行付费。与其竞争对手不同的是，adMarketplace同时也将流量来源作为考量，基于来自广告浏览的网站点击和盈利效应的相关程度，进行报价。

　　大数据策略出自生存危机

　　adMarketplace网站从2000年开始运营，其搜索广告模式很快获得了eBay的青睐，在2003年成为eBay的独家点击付费管理平台。

　　然而，三年后，eBay和雅虎展开合作，与adMarketplace的独家合作关系戛然而止。同期，adMarketplace的现任CTO Michael Yudin上台。

　　Yudin说：“我刚上任就接到了个‘烂摊子',损失了收益的主要来源，遇到了财务危机。我们一方面需要维持业务，一方面需要建立新的平台。”

　　但是他们做到了。在与eBay拆伙后的第一年，公司达到了负净值，可不久后就在没有任何外界帮助的情况下走出了低谷。

　　Yudin现在已经把这件事看作另一种形式的“恩赐”:“磨难是成长最好的导师。”正因为有了这次合作关系的破裂，adMarketplace才决定开始构建一个更大的独立联盟平台。

　　“eBay是块肥肉，但整个互联网要肥得多得多。”

　　随着公司系统的重建，一个巨大的发布商网络正在形成，接触客户群体的方式已经不止搜索引擎结果页这一种。Yudin认为，像谷歌和雅虎这些业内先驱都把联盟网络视为他们自身网站搜索活动的通用扩展，而adMarketplace在做的就是使用一系列指标为广告商提供独特的分析见解。

　　“我们的平台就是专门为管理企业无法解决的复杂问题而设计的;系统会基于你所有来源的广告效果，为你提供数据、控管能力和相应的价格。”

　　迎战大数据来袭

　　在优质的客制化服务基础上，adMarketplace能够处理大量的数据--准确说来，是每小时100GB.

　　Yudin说：“大数据就是公司系统的命脉，牵连到平台的每一个部分。”

　　但是，管理这么大的信息量也不是件简单的事。在与eBay的合作关系终止后，adMarketplace急需另一个数据库来处理增长的信息量，同时作为内部系统(其中有HP Vertica数据仓库设备)的补充。

　　在选择合适的数据库厂商时，系统的延迟和运行时间是需要重点考量的方面。

　　“如果广告的反馈时间不够及时，你在这一行是根本混不下去的，没有客户愿意等你。”

　　于是，Yudin和他的团队开始考虑一些NoSQL数据库供应商，搜罗整个开源市场，最后把焦点放在了两家身上--MongoDB和Citrusleaf(2009年成立，后更名为Aerospike)。

　　由于MongoDB本身是免费的，所以产品的管理和支持开销更大。经过一番比较，大名鼎鼎的MongoDB没能达到adMarketplace的要求。

　　那就只剩Aerospike了。尽管如此，Aerospike前后还是花了一年多的时间才和adMarketplace达成协议。

　　Yudin在Aerospike还是Citrusleaf的时候就和他们的CEO和CTO见过面;他说：“我每个星期都会接到他们销售的电话。”

　　据Yudin称，Aerospike这个公司很新、很前端，这一年多的等待时间让它成长了起来。目前，该数据库已经实施了六个月，进展很顺利，当然还有进步的空间。

　　Aerospike的速度抑制了它的功能化，Yudin将其形容为“太简单”;一些集中化的查询，例如在一天之内给出对某个特定关键词感兴趣的客户总数，无法做到。“如果他们能在现有的速度、可靠性和可扩展性不变的情况下，添加这一性能就很好了。”

　　Aerospike数据库由可执行查询的系统支持，能够容纳实时获取的数据。Yudin对公司的SQL/NoSQL组合策略信心十足;他认为，虽然传统的SQL数据库在实时数据处理上速度过慢，但在有效的大数据管理策略中对NoSQL会起到很好的补充作用。

　　“要让数据引擎充分运转，NoSQL和SQL缺一不可。我不相信哪一个缺了它们的产品功能化依然完善。”

　　adMarketplace平台由多个数据中心的上百个服务器共同组成。这些服务器负责处理大量的事件和数据点，并生成日志文件。接着，在内部创建的分布式引擎负责收集基于SQL数据仓库中的信息和数十TB的有意义的数据。最后，相关信息会展示在广告商面前，比如这些广告的来源、点击量，以及服务的总共费用。

　　大步走进大数据

　　最近，adMarketplace发布了新产品Advertiser 3D,继续发展海量数据存储的治理。

　　Yudin说：“这是唯一一款完全针对大数据的广告平台，赋予用户一种别具一格、有效获取数据的方式。”该产品具有与广告点击量、点击费用和每行动成本(CPA)相关的非常详细的数据可视化功能，使广告商能够选取准确的关键词以促进流量增长;另外还包含公司演算引擎的应用程序，为性能改进和流量提升提供建议。

　　adMarketplace虽然使用了一系列复杂的数据技术，但目标很简单。“我们这一行就是帮助优秀的企业赚到更多的钱、获得更多的客户、线上业务更加壮大。”

　　对于其他计划构建或重建系统的企业，Yudin也给出了金玉良言。他感悟到，企业不应该不进行市场测试，只管埋头把时间和金钱投入到产品改进中去。

　　“应该这么做，先把一个产品投放到市场中，看一下效果如何，然后一次针对一个客户进行改进。不要害怕失败，跌倒了再爬起来，继续前进，这样你才会变得更加强大。”