零售业CIO如何进行数据分析？

　　在2000多年前的古罗马竞技场，角斗士们被迫手握短剑进行着殊死的搏斗，最终可能走向同样的命运：用自己鲜活的生命去当祭品。而在四周的看台上，骄奢残忍的王公大臣和打扮得花枝招展的贵族妇人们，却从那鲜红的血光中获得刺激和快感，尖叫和狂欢盖住了流血的奴隶的痛苦呻吟。

　　这血腥的一幕，似乎正在国内零售业重演：卖场扎堆经营，“千店一面”的雷同叫卖，“自杀性炸弹”的价格肉搏，盲目的“低性价比”；你满100送100，我就满100送110，一家比一家送得狠，一家比一家送得绝；誓要拼个你死我活，争个鱼死网破——似乎整个群体都身不由己地陷入了最后的疯狂。而虎视眈眈伺机而动的，是全球最大50家跨国零售财团中47家已经进入中国、并且马不停蹄地完成了在中国零售市场“高端布局”的帝国军团！

　　与“帝国军团”在各中心城市的巷战让我们明白了：只有实现营销创新的企业才能成为硝烟弥漫的肉搏战中的胜利者！“商品营销与顾客营销双轮驱动”将逐渐成为零售行业主导趋势。除了DM、买赠、满省、搭售、抽奖、返券、减价、换购等面向全体顾客实施地毯式轰炸的“商品营销”之外，我们更需要在细分客户群体基础上实施精确制导的“顾客营销”。构建商业智能(BI)体系、掌握先进的数据分析与高级决策支持能力，已经迫在眉睫——CIO们肩上的担子更重了！

　　“数据爆炸，信息贫乏”已经困扰零售业CIO们好多年了！面对着零售企业越来越强烈的要把“数据坟墓”转化为“信息宝藏”的需求，富基融通选择了以CRM为切入点。我们推向市场的是分析型的CRM，以帮助零售企业诊断目前在顾客管理方面的现状和问题，发现能够影响消费者的营销行为和提升经营业绩的有效方法，从而帮助企业经营决策者进行营销战略与策略的调整，指导营销策划和执行人员完成精准的“一对一”营销。当然，这个“一”的目标不局限于一个顾客，也可以是一个顾客群体。

　　我们研发人员与CIO关注的是共同的课题、追求的是共同的目标。区别在于：CIO更多的是从战略层面上规划企业的商业智能架构，而我们则是将主要的精力用于从逻辑层面把一个个数据分析主题从名称推导成有实用价值的数学模型和算法，然后完成程序代码的设计。

　　我们与CIO之间的交流，可互有裨益、相得益彰。下面，我就从商业智能的项目规划和数据分析两个层面，谈谈一个探索者的经验教训与体会。

　　一、商业智能的项目规划

　　在规划层面值得关注的有两点：

　　一是数据仓库平台的选型，二是商业智能项目的阶段特征。

　　Sybase公司推出特别为数据仓库设计的关系型数据库 IQ和与之配套的数据模型设计软件包IWS，颇有吸引力。Sybase IQ的核心技术特征以及相对于传统数据库的各项优势，在网上有包括产品白皮书在内的丰富的介绍资料。零售业的商业智能项目以系统上线为界，分为两个阶段：前一个阶段的特征是共性化和厂商主导，如同购置商品房（商业软件与商品房在商业特性上极其相似）；系统上线后应用阶段的特征是个性化和用户主导，如同对商品房是简易装修入住还是豪华装修费用超过购房款，完全取决于房主在经济实力、生活品位、规划能力、专业素养、用途需求等各方面的差异。

　　最了解企业战略与经营需求的，是用户自己。系统上线后，用户可以运用厂商提供的与数据仓库配套的工具包，随需应变地构建层出不穷的数据模型与分析主题——这是个只有起点没有终点的进程！在这个非开放环境中打造出来的、内生的数据分析与高级决策支持能力，才是企业的核心竞争力——这也是企业IT团队实现角色转换和价值升华的大好机遇。

　　二、数据分析的主题研发

　　商业智能、数据仓库是“舶来品”，可是推本溯源、寻求借鉴的过程远非“依葫芦画瓢”那么顺当。

　　我体会最深的，是《五灯会元》中的这一段话：“老僧三十年前未参禅时，见山是山，见水是水。及至后来，亲见知识，有个入处，见山不是山，见水不是水。而今得个体歇处，依前见山只是山，见水只是水。” 几乎在每个分析主题的模型构建与算法推理的过程中，我都经历了以下三个思维阶段：

　　见山只是山，见水只是水 —— 初次接触，随意观察，表面印象，没有深入探讨。

　　见山不是山，见水不是水 ——进入怀疑、批判阶段，疑团满腹，眼前是假象。

　　见山仍是山，见水仍是水 —— 经过验证、推理、分析获得真知灼见。

　　第一个例子：亦真亦幻的“客户价值矩阵分析”模型

　　几乎每个CRM软件提供商在与零售企业接触的时候，都会拿这个“客户价值矩阵分析图”来说事：

　　可是这么多年过去了，双方的交流始终停留在这张看起来很简单的模型图上；软件厂商们没能把这个模型的算法推理出来、设计到软件中去，零售企业们也只能依旧沿用“消费额ABC分析法”来简单地切分会员价值群体。

　　CRM的本质是价值驱动，追求的效果是把企业有限的营销与服务资源准确地投入到最有回报价值的客户身上。所以，“客户价值矩阵分析”是整个CRA（客户关系分析）体系构建的基础和我们这次CRM产品研发要突破的第一道关口。

　　可是，我阅遍了所能搜索到的相关资料、用尽了所能想到的方法，也像此前的探索者那样没能从这张图上推导出合乎逻辑的算法来。如果不能撞破这堵困住同行们多年的“南（难）墙”，那撞破的只能是我自己的饭碗了！这回可不是“玩票”的，得玩命了。

　　就在山穷水尽还苦苦求索的时候，我突然感觉到，这张“可望而不可及”的客户价值矩阵分析图跟“三角幻图”太像了：三角幻图中的每一个构成单元、每一个角、每一条边单独看起来都是真实可信的，但组合成一个整体来推理却是不合逻辑的。

　　我恍然大悟：原来，行业中流行的这张矩阵图是用于交流的高度抽象的概念图，而不是能用于推导算法的数学模型图——并不是有葫芦可依就能画出瓢来。 从“三角幻图”的构成原理中，我得到启发，终于把客户价值矩阵的算法推导出来了。

　　第二个例子：无葫芦可依的“RFV三维分类模型”

　　我们设计的RFV分类模型（或称RFV检测仪）从“停止采购时间”和“来店频率”两个维度，把“价值矩阵分析法”界定出的5个客户价值群体再次细分为125个不同的群体，商场可以针对不同的群体采取不同的营销方式。营销的主导思想是：让左边（F值小、来店频率低）的多来商场，让右边（来店频率高）的提高消费金额，让下边（V值低）的提升消费能力，把后面（R值大）的挽救回来、激活起来。最有价值的、使用频率最高的用法是监测客户消费行为异动，及时采取应对措施，防范重要客户流失（即“客户流失预警”）。

　　用户还可以分别从R、F、V三个维度进行切片和切块观察，锁定感兴趣的目标群体；下钻到具体会员记录的时候，还可以用右键调阅该会员的“FM心电图”（每次购物的金额与间隔时间）。富基融通的颜总把RFV三维分类模型生动地形容成：“零售医院的CT机”。

　　在百度搜索中输入“RFV三维分类模型”，找不到一条可以借鉴的资料——在画“瓢”的时候，没有“葫芦”可依。

　　第三个例子：现成的瓢——“客户生命周期分析”

　　在所有的数据分析模型中，“客户生命周期”的分析模型可能是最简单、最现成的。在理论上表述得最为完整的、集大成者应该是某著名咨询机构的这张图：

　　对于零售企业来说，数据分析与运用的聚焦点在会员的“成长、成熟、衰退”这三个阶段所形成“抛物线”上。可是把真实的会员消费数据导入分析模型后，生成的却是不是BI厂商和咨询机构们所描绘的、和用户们所期盼的抛物线，而是杂乱无章的锯齿线？可以肯定，在CRA系统上线初期，所看到的基本上都是这种线条。

　　是分析模型错了吗？在这样的图形上怎么能判定出会员正处于生命周期的哪个阶段？如果不能给个合理的说法，肯定会引起用户对这个分析模型的可信度产生怀疑，继而蔓延成对整个CRA数据分析体系的“信任危机”。

　　点击“商品生命周期_百度百科”这条链接可以看到：行业中对“商品生命周期”的阶段划分和描绘的抛物线，与“客户生命周期”如同翻版。可是商品与顾客这两个分析对象在本质属性上却存在着巨大的差异：商品是受控对象，在有效的管理状态下形成抛物线状的销售曲线，是可信的！而顾客是行为自控者，并且商场对顾客目前还远远谈不上有效管理，所以消费行为呈现出无规则的锯齿线状态，正是对实际状态的客观写照，不是分析模型出了错。

　　那是理论权威们错了吗？也不是！毕竟这套理论不是在中国零售业目前的经营水准上构建起来的。富基融通的唐总认为：客户生命周期确实可以形成分析模型图中所描述的抛物线，但前提是要持续保持客户的“忠诚度”。在运用CRA的分析数据对会员按价值、特征、行为等多维度属性划分为不同的群体，实现个性化营销之后，会员的忠诚度和在商场的消费能力应该会随着商家“面向客户”的营销组织能力日益成熟而越来越高，然后相对持续平稳，呈现出与商品营销类似的受控状态。“在这个意义上讲，客户生命周期

　　抛物线我觉得是合理的，这也是商家需要追求的，或者说这是商家对实施CRM的最高期望。” 由此可见，对于零售行业来说，理论权威们所描绘的抛物线是“未来时”，是“共产主义阶段”；而我们现在和CRM产品上线初期所看到的锯齿线是“过去时”，是“社会主义的初级阶段”。当锯齿线逐渐向抛物线演变的时候（这种演变将率先在“关键客户”、“重要客户”群体中出现），我们的用户就成功了。

　　关于“客户生命周期管理”的用途，行业中人的普遍印象是用于“客户流失预警”。对此，我有不同的思考：

　　①、“客户流失预警”对时效性的要求比较高，而“客户生命周期管理”是相对宏观的管理工具，以“月”为数据颗粒。等到从抛物线上观察出一两个月前客户有流失迹象的时候，很可能已经时过境迁、生米熟饭了，还预什么警？这个“瓢”被用错了地方。

　　②、如果真的要用于“客户流失预警”，那就不能像分析模型图那样，在抛物线上示意性地进行阶段划分，而是要对客户“成长期、成熟期、衰退期、流失期”的界定指标进行量化。这个难度是相当大的，也没有见到在零售业中有人进行这方面研究的报道。

　　③、我们已经为“客户流失预警”配备了以“日”和“次”为数据颗粒的RFV三维分析模型和各维切片视图以及FM心电图等一整套从宏观到微观的“会员体检设备”，可以及时监控和应对会员消费行为的异动——这远远不是在那根以“月”为颗粒度的“客户生命周期折线图”上所能够实现的。

　　④、尺有所短，寸有所长。“客户生命周期折线图”可以与RFV检测仪和FM心电图配套使用：当RFV检测仪发出某会员停止采购时间超过平均采购周期的预警信息时，是否要立即采取发送短信等联络措施呢？我们可以调阅该会员的“生命周期折线图”，观察此前是否存在过类似的现象，再作出适当的决定。比如说，在前面举例的两幅“会员三年消费表现”折线图中，就有过停购2至5个月后再恢复消费的现象。

　　第四个例子：商业智能皇冠上的明珠——“啤酒与尿布”

　　谈到商业智能（BI），言必称购物篮分析；谈到购物篮分析，言必称关联分析；谈到关联分析，言必称“啤酒与尿布”。比较流行的故事是：“沃尔玛早年利用ＮＣＲ数据仓库技术，对商品进行市场类组分析，即分析哪些商品顾客最有希望一起购买。沃尔玛利用ＮＣＲ自动数据挖掘工具对一年多详细的原始交易数据进行分析和挖掘时发现：跟尿布一起购买最多的商品竟是啤酒！”。于是“啤酒与尿布”就成了商业智能皇冠上的明珠，权威云集、争相著述、模型与算法推陈出新，在科研水准和学术价值上达到了难以超越高度；甚至连各种算法的代码都连篇累牍、非常完整，似乎只要套进程序，这个模块的设计就八九不离十了。

　　运用关联分析的穷举算法自动挖掘出“啤酒与尿布”，这给人们带来了无限的启发和期盼；运用先行者们的研究成果把“购物篮分析”模块设计出来是没有什么难度了，但我们更需要关注的是：这样设计出来的模块真正能给用户带来什么应用价值——价值目标不明确的产品研发，会让我们与用户都深陷泥潭！有鉴于此，我提出几点直觉上的质疑，希望能与大家在探讨的过程中释疑解惑。

　　1、“啤酒与尿布”真的是被“购物篮分析”给挖掘出来的吗？在诸多的故事版本中，我觉得下面这个版本的故事更为接近“啤酒与尿布”真正的身世因果和BI应用的真实场景：“曾有一段时间，沃尔玛在美国的店面经理发现一种现象：每周啤酒和尿布的销量都会有一次同比攀升，但一时搞不清是什么原因。后来，沃尔玛运用BI技术发现，购买这两种产品的顾客几乎都是25～35岁、家有婴儿的男性，每次购买时间均在周末。沃尔玛在对相关数据分析后得出，这些人习惯晚上边看球赛、边喝啤酒，对于要照顾的孩子，为了图省事就用一次性尿布。得到结果后，沃尔玛决定，把这两种商品集中摆在一起，结果销量有了显著增加。”

　　请注意三个关键点：“有一段时间、店面经理发现、后来运用BI技术分析”。这与BI能自动挖掘出“啤酒与尿布”，可是相去甚远的两重境界！

　　引用一位同行的观点：“啤酒和尿片的故事很早就有人置疑，可参考这个链接：http://web.onetel.net.uk/~hibou/Beer%20and%20Nappies.html。事实上，在网络数据/文本挖掘领域的从业者中，很少有人会刻意提到‘智能’这个词，因为它实在是有点outdated（过时的, 不流行的）。上个世纪六十年代AI（人工智能）在机器推理和知识表述领域巨大的成功，使得人们很乐观地估计要不了多长时间就能真正实现机器智能。后来四十多年的发展证明这是个彻头彻尾的泥潭，反而是原来在AI领域不那么正统的机器学习越来越受到人们的重视。即便是对最外行的人作解释，任何一个严肃的机器学习专业的人也不会说自己的程序是智能的。”

　　2、购物篮分析连算法代码都公诸于世了，挖掘出的成果还有什么可保密的？既然“啤酒与尿布”是被“自动数据挖掘工具”给挖掘出来，那就应该有源源不断的精彩案例传颂于世；而“啤酒与尿布”已经走红多年了，怎么还是在唱独角戏？购物篮分析是高端应用，高端应用往往意味着高投入，高投入就必须有高回报，仅凭一个从海量的交易数据中挖掘出销售额占比微不足道的“啤酒与尿布”的案例，似乎很难打动追求投资回报的零售企业。

　　3、在一本书中是这样介绍的：“研究‘啤酒与尿布’关联的方法就是购物篮分析，购物篮分析是沃尔玛秘而不宣的独门武器，购物篮分析可以帮助我们在门店的销售过程中找到具有关联关系的商品，并以此获得销售收益的增长！”如果我们软件厂商真的用这几句话来跟客户交流，客户只需一句话就很可能让我们趴下：“请找找看牙膏和牙刷有没有关联关系？”

　　虽然我们强调，关联挖掘算法的价值在于它的穷举性可以发现人们未曾关注到的类似“啤酒与尿布”这样潜在的关联规则；但这是否意味着，它可以拒绝人们用已知的关联规则来验证它的可信度？

　　资料上介绍的能自动挖掘“啤酒与尿布”关联关系的模型与算法在技术层面的科学性是无庸置疑的！“只要有力气拿得起牙刷的人就一定会用到牙膏”也是无庸置疑的常识！问题可很能会出在：购物小票上用来分析的牙膏和牙刷是两种商品（单品），而陈列在货架上的牙膏和牙刷却是两个颇有规模的商品群；数十种品牌、系列、口味、功效、不同的包装规格、不同的消耗周期、不同的单次购买数量、越来越快的产品更新换代、消费者对新体验的追求、甚至在牙膏包装中赠送牙刷，这么多种因素的综合交错会大幅度地稀释牙膏牙刷在单品层面形成“同时并且重复购买的组合”的概率，对购物小票进行遍历分析后很有可能会得出反常识的结论：牙膏、牙刷这两种商品之间没有关联性！

　　对自动挖掘“啤酒与尿布”这类潜在的“同时并且重复购买的商品组合”大可不必那么痴迷，我们其实可以用“购物篮分析”演绎出更为现实更有价值的应用！比如通过构建会员消费档案来挖掘出会员与商品、品牌、营销方式、供应商等等之间多维度的关联规律，帮助商场在数以百万计的茫茫顾客群中精确锁定个性化营销的目标。