花旗银行测试中心封波：花旗的全生命周期测试

ZDNET至顶网CIO与应用频道 11月04日 北京消息（文/王聪彬）：“花旗银行测试中心经历2003年成立经历10年从原有单一SIT发展到UAT、PAT、DIT多种业务，2004年和文思海辉合作建立了OTC，2005年做一个新系统Oscar。”花旗银行测试中心银行业务测试经理、副总裁封波在中国金融行业IT解决方案研讨峰会上讲述了同文思海辉在金融测试上的合作方式。

据封波介绍，花旗的测试流程分为准备阶段、测试需求、测试计划、测试执行、测试报告。另外其还讲述了项目以外对员工的知识管理。

花旗银行测试中心银行业务测试经理、副总裁 封波

以下为演讲实录：

前面几位已经从行业生态以及软件工程高屋建瓴的给大家介绍了很多测试方面的情况，我就化压力为动力，好好给大家分享一下我们一个独立的银行业的测试团队是如何从无到有，建立和发展起来的，以及我们日常是怎么管理的。

我主要要讲的东西首先是介绍一下我们的情况，就是我们是怎么发展过来的，发展历程。再给大家讲一下我们测试方法和流程，这个主要就是我们在做项目当中，在做真的测试计划管理当中的一些情况，接下去给大家讲讲项目以外的运营和管理。

我们主要的工作，我们这个测试团队主要的工作是给全球的花旗银行零售银行以及一部分的私人银行，提供测试服务，包括系统集成测试以及用户验证测试，这是主要的情况，后来把测试生命周期当中往前往后延伸，往前延伸，是系统集成系统，往后延伸，我们开发出一个DIT，就是开发提供测试，我们也给他提供帮助。往后延伸是一个PAT，系统快要上线之前的这种项目，彩排我们也给他提供服务，虽然因为软件安全性的问题，我们作为一个非银行业务部门的员工，我们不能访问真正的银行系统，但是我们可以给他们提供服务，哪些情况要注意，哪些功能很关键，哪些问题在我们SIT和UAT发现过，我们提供这些服务给他，这是我们要做的一些工作。这些年发展之后，我们最早的时候只是在上海有二十几个人的队伍，现在我们已经在上海、大连、印度有三个城市，包括新加坡建立了整个比较完善的测试团队和系统。

我们从03年到现在有几个主要的阶段，2003年的时候我们建立有二十几个人，2004年的时候，当时为了控制成本和控制风险，我们和文思合作，建立了一个OTC，现在都讲ODC，我们那一年也开始完整的做一个SIT。最早的时候我们只是中间参与，刚刚建立的时候，04年开始，和欧洲七个实体联合起来做了一个系统，就是ESP CPB，我们把SAT做起来，还提供了一些服务给UAT。2005年的时候，花旗开始做一个新的系统叫Oscar，以前更多是客户端服务器这种系统，从Oscar开始，我们开始建立浏览器服务器，但是应用在欧洲有四个国家，比利时、西班牙、意大利、德国，后来中国也上了这个系统，这是2005年。06年我们在大连建立了自己的分支机构，然后08年花旗推出了一个彩虹计划，因为原来Oscar想在非美国以外的地方用，推出彩虹计划，想在全球任何一个国家都采用同样一个系统来做，这也是成本控制、风险控制方面一个因素。因为原来每个国家的花旗银行或多或少都有自己的承包商，所以各个国家的系统总有这样那样的区别。我们为了把以后的维护或者运营的成本降下来，我们想在全球让每个国家都有同样的系统。从我们测试的角度来说，其实有一个好处，自动化测试会有一个优势，我们在各个国家之间切换或者提供服务的时候，它的改变没有那么大。

2010年之后，原来我们主要的工作都是在亚太区和欧洲，2010年我们开始给美国提供服务。因为以前美国花旗集团会把美国和美国以外分成两块，我们也开始给美国提供服务，这时候正好是彩虹计划，我们给他提供测试，但是这个时候更多的就是开始延伸了。我们有DIT和SIT，都是我们给他们来做。2013年之后，我们彩虹计划之后又提出了一个Global，今年十月份已经有四个国家上线了，这个接下去可能和美国要重新上这样一个系统。

我们是2003年成立的，到现在差不多十年，这十年过程中，我们最早的时候二十多个人，到现在为止，我们最多的时候曾经有一千人，当然不仅仅中国，包括还有印度，我们以前叫CSTS花旗软件，然后发展到亚太地区，花旗把美国和美国以外分开的，到现在为止，我们变成Global，零售银行所有的系统如果要上线，它的SIT必须交到我们这里来做，如果不给我们做，必须提供原因。最早我们刚刚建立的时候，就是给希腊做了一个SIT综合业务系统，我们中途参与进去。从刚开始的时候真的很多东西都不懂，很多系统，花旗内部的模块到底是什么意思，到底做什么东西的，我们当时不知道，不停的跟开发，跟业务分析沟通，我们已经给超过40个国家的综合业务系统做过SIT、UAT，还有更多的国家做BAU，我们日常运营一样的，如果一个国家的系统正在运行，有一个新的功能或者新的特性要上线，由我们来测，测了之后他来上线。最开始我们只做SIT，现在做SIT、UAT、PAT、DIT，提供更好的服务。对我们来讲，开发也是我们的客户，对一个测试团队来说，开发是我们的客户，用户也是我们的客户，在不同的测试阶段。刚刚提到的是我们客户从最初只有希腊一家，到现在基本亚太区所有的国家我们都有提供服务，欧洲也是这样，美国，包括拉丁美洲，最近几年包括巴西这些国家，墨西哥，我们去年刚刚给墨西哥上了他们的综合业务系统，给他们做了测试。

还有就是我们的知识积累，最早的时候我们只是给零售银行做一些业务。现在我们可以给信用卡包括网上银行、ATM机，我们自己买了ATM机放在公司里面，就是为了做测试，买了很多设备提供测试，买了IPAD、手机，提供银行测试服务，因为业务拓展越来越快，这方面的应用越来越多，应用越来越广泛，我们测试就是各种业务都测。还有我们测试的范围，因为最早的时候我们只做手工测试，什么东西来了就是手工，现在我们可以做自动化测试。东南亚六个国家彩虹计划的时候，最多的时候我们可以做到20%自动化的程度，因为银行业的业务变化比较快，我们想做自动化一直在努力，怎么样把自动化做的更多更好。现在大概可以到20%，它的主要工作就是在一些比较常用的没有变化的业务，以及给大家提供数据，因为银行像前面提到的，他要把数据恢复，本身就是银行业的一个特殊情况，因为它的数据在不停的变化，我们做某些特别测试的时候需要特定的数据，我们怎么把这些数据找出来，手工做花很长的时间，现在我们发展用自动化的手段来做，给大家提供数据。因为银行里面有一个跑批的问题，同样的数据在不同的日子里，可以用来测的东西是不一样的，这些东西我们都是用自动化来做，有自身的测试人员或者测试经验和知识，关注在功能上，而不是在数据上面。

还有我们的知识，最开始什么都不知道，现在可以这样讲，花旗银行零售银行这块所有的系统，我们现在在用的Globar，业务专家有90%在我们这里，很多国家特别是亚太区跟我们合作比较多，他们在做UAT的时候提要求，要求我们参加。SIT做完之后，有些我们不做，特别花旗中国，一定要我们做。我们最早的时候只是新加坡和上海，然后大连，现在印度很多，Globar，美国、波兰也有我们的同事，提供测试服务给全球各个银行。

接下来给大家介绍一下我们的测试流程和方法，前面姚先生提到我们要更早的测试，我们测试流程简单讲，一个是准备阶段，然后是测试需求，然后是测试计划，测试执行，测试报告，这个测试简单讲就是这个流程。我们测试准备，在提需求的时候，因为我们讲提需求，不一定跟用户面对面，因为我们有专门的花旗内部的分析人员，是跟用户面对面，但是我们可能会在电话或者业务人员提供的需求，我们在需求刚开始提出来的时候，我们就开始看那些文档，开始要了解我要做这个项目，他要测什么东西。因为老实说，我们做项目做多之后，我们在需求阶段可以对开发提出一些建议，为什么你的设计不改一下，为了满足这个需求，可能会更好的满足这些需求，我们可以提这样的要求。所以我们在很早的时候就开始参与一个项目当中，很早知道测试大概要测什么，它有哪些新的东西，我们大概会缺什么，因为我们长期做下来，我们有很多的测试案例，我们缺什么，哪些是我们现在没有的，很可能需要购买哪些设备或者有没有条件可以购买哪些设备，如果没有的话，有没有模拟器，没有的话到哪里借，很早我们就把这些问题提出来，提出在架构或者测试软件开发当中会碰到的一些问题，我们开始提，虽然那时候测试完全没有看到，这是测试准备阶段。

接下来是测试计划，测试计划直接的讲，就是我们案例设计，包括需求定义，我们最早的时候，我们需要把文档，开发拿到用户需求，他会写一个用户需求说明书给我们，这是我们测试准备，需求测试阶段需要的文档，我们会把那个转成测试需求，就是我们需要测什么东西，把测试需求转化成我们的策划案例，我们怎么做这些测试，第一步、第二步。这个时候我们其实还要准备什么？我们真正的接下去要做测试执行，我们要定义一个测试进度标准，什么时候测试是可以开始的，我们会有一大堆的条件，最开始的时候我们都不知道，一般上面说开始我们就开始，但是一旦测试有很多问题，这也是反复学习的过程。一般来说上线日期不大会变的，测试都是压缩我们的时间，压缩测试的时间，如果测试开始了，但是好几周的时间，很多东西都没好，其实我们什么也没做，测试的时间被耽误了。所以我们后面回过头来看，哪些是开始最为关键的因素，对这些关键因素我们把它分类，哪些即使不好，我们可以接受，哪些是必须要好的，哪些是最好要好的，哪些是可以放弃的，做这些分类，每一次SIT定了日期要开始的话，我们大概会做一到两周的测试，来看看这个系统到底是不是可以开始测了，常常会发现很多问题，因为我们做的最早的第一件事就是开客户，通过这种反推，为什么DIT出来？因为SIT会有很多要求出来，上面总觉得开发提供的东西还不够好，就让开发用开发的集成测试。很多客户如果用完全新的系统给我们做测试的话，我们数据要重新准备，要花很多时间，一个系统拿来给SIT用的时候，里面有一些历史数据，但是这里面有一个安全性的问题，我们不能看到真实用户的信息，因为人名、身份证号。花旗会来查你是不是遵照流程了，我们当时做意大利的时候，他有一些数据转化过来，但是真实客户完全不知道他是谁，身份证号很乱，我们当时做UAT的时候，是和意大利的用户一起测的。意大利的用户如果自己测试，肯定随便拿一个自己的名字往上填，这样的话就会出现在测试系统中出现很多真实的人，当时检查的人来了，每年三年一次，业务监控到系统一看，他就发现为什么有很多人名是真实的人，因为那上面写的就是意大利的名字，我们就要解释。客户数据保护像这种东西我们是不能接触的，后来我们解释因为我们同时在跟意大利的用户自己测，他们用自己的名字输进去，否则的话就会是一个很大的问题，为什么你能看到客户的数据。客户数据保护，比如有的国家UAT不允许在中国测，但是你可以在新加坡测，我们有时候为了测一个国家，要派人到新加坡，因为在新加坡测是允许的，中国是不允许的，这是很早的时候，后来允许了我们就不用去了。这是什么时候我们可以进入SIT的。

我们还有一个指标来判断开发提供产品是不是很好，第一次被测通过的可能性不大，现在我们通过这种逆向倒逼，质量得到了很大提高，通过率非常高。这有一个很大的好处，我们测试中间浪费的时间，等的时间就很少，因为我们主要的时间都是花在真正测试需要做的这些工作上面，后期的上线，下一个阶段的UAT安排就能够更加的及时。

测试执行，我们用的是QUC，它是一个测试管理工具，我们测试案例也在上面，我们找的bar也在上面，测试提缺陷，开发看缺陷，每天或者每两天开会，大家把重要的缺陷过一遍，出报告，告诉大家状况是什么，哪些是红的，哪些是绿的，哪些是黄的，到最后测试阶段有一个退出标准，真的在实践当中应该每个机构都不一样，因为测试退出标准是有很多的。从测试角度讲，缺陷是永远抓不完的，什么样的情况下我们可以让它到下一个阶段，就是测试退出标准，接下去我们要写测试报告。这里面要讲清楚由于哪些原因，我们在这个阶段，哪些东西没有测，因为这个东西是一个安全性的要求，我们让下一个阶段的人员要知道哪些东西没有测，风险会比较大，你们要重视，哪些东西我们测过了，有哪些问题，我们现在在想办法，把SIT做一些浏览模拟器，达到目的，如果没有测到，我们需要在测试报告当中讲清楚，让下一个阶段的测试，不管是用户还是测试团队可以知道。最后是测试报告，是我们整个项目当中的管理过程。

这里给大家列了一些，这里面都是花旗自己内部的名称，各种各样产品的模块，基本涵盖了所有的现在花旗零售银行所用到的东西，现在我们都能测，可以说我们都有业务专家。我们在做测试当中这些年积累下来，我们有一叶测试工具，我们把QUC做了客户化，要加哪些东西，实际都是我们在不停做项目当中发现哪些东西对我们是有用的，我们用管理工具在管理整个测试过程，所以我们把东西都放在QUC上面，很容易拉出报告，很容易发现哪些是我们接下去要花力气去解决的问题。因为真的在测试像银行系统目前整个银行系统测下来，大概有十万个case，我们需要短时间测试完，每一段我们都需要知道重点解决的问题在哪里，我们有专门的报表，这样就可以知道哪些是需要解决的。QUC有开放的API，像比较宏观的报告是拿给管理人员看的，高层看的，但是我们自己的测试管理人员他希望知道自己那一块有哪些特别的情况，我们专门开发这样的工具，需要用什么方式拿出来，因为QUC提供了API，我们可以拿这些数据。这些经理就可以知道他这块的问题在哪里，哪些提供的描述是不清楚的，哪些是我们内部解决的，马上可以把这个东西往下推。问题越早发现，越早解决，我们很多测试人员觉得这个问题我们已经没办法了，但是测试经理知道我们内部这个问题其实我们是有答案的，这个测试就可以往下走，就不用等到第二天才发现这个东西。这是项目当中的一些情况。

接下来讲一些项目以外的日常管理，大概分人员管理还有Site管理还有知识管理。人员管理有很多细节，一般来说，我们主要的做法就是讲激励、考评，这可能是跑不掉的。IS related，花旗非常强调，红线在这里，你的密码定期要改，这都是日常管理当中要做的。这是每个人自己要做的事情，还有经理定期要对自己所属员工的ID要进行检查，哪些ID应该有，哪些ID不应该有，哪些在做项目的时候应该有，过了这段时间不应该有。花旗内部系统会对这些ID进行分类，经理不用一个一个看，他可以去看这些ID，如果这个ID这个员工不应该有，就应该把它删掉。包括这些RCSA，每个团队安全性要定期检查，比如离开位置，要把计算机锁屏，座位上不能离安全性比较高的文档，花旗文档分四档，内部对这些东西都有要求。第三方文件，花旗内部只有申请才可以给第三方的邮箱发邮件，而且即使在申请过程中，你不能把文档发到第三方邮箱里面去。这都是日常的非项目管理要思考的，有些项目时间长，有些项目短，不停的换，一个大项目来了，我们需要很多人，接下来不一定有那么大的项目，我们人员会有很大的起伏，所以我们会跟文思合作，可以平衡员工的起伏，这样风险可以下降。这个数字主要是指中国，有将近一半的员工是从文思来的，因为过去做项目，文思，我们人多了可以用少一些，人少了，可以很快招来，这方面的风险就在下降。

还有Site，从降低成本的角度，我们和文思在04年做了一个合作，在那里面我们可以通过防火墙可以访问到花旗内部，这里面也有一个要求，有TI在控制里面的访问。如果你要有新的系统要开始测的话，这个地方可以坐两百人，现在开发都开始借我们这个办公室。

接下来就是知识管理，其实就是文档，因为人的流动性在那里，我们尽可能把知识变成文档，各种不同种类的东西都在里面。为了把这些知识可以传递给新来的人，我们有相应的内部培训，给他介绍测试的东西，测试的技术，系统的概念，业务的概念，因为我们做测试，业务是比较多的，最后就反复要把一个一个培养起来。文思给我们提供很多新的员工，我们和文思发展出了一个培训体系。新的员工可以通过这个，把新人培训好，缩短时间，新进的员工可以更快的上手做项目。