2020年全球经济遭遇了前所未有的震荡,3月9日,美股如同经历了1987年的“黑色星期一”,开盘即暴跌,触发一级熔断机制,暂停交易15分钟。
正是3月9日前后,老虎国际的数据库也经历了前所未有数据查询量,查询数量曲线成指数级增长,在1TB时还能勉强支撑。但同一用户同时触发两个业务时,像交易和打新股同时发生就会出现冲突,数据库既要进行行锁,还要保证数据一致性。
经此一役,老虎国际也开始思考怎样的数据库可以支撑未来的发展,走向更多的国家和地区,不断增加交易品种,形成完整的生态。所以既是出海参与者,也是出海服务者的PingCAP也与老虎国际走在一起,让老虎国际有更多时间思考,如何更好地抓住科技,用科技赋能券商。
全球化的数据挑战
每一代人都有自己的思想和品味,当越来越多的80、90甚至00后进入投资领域后,对券商会提出更高的要求,与时俱进也成为券商抓住用户的关键。
八年前,老虎国际正是看到了这样的机会,创立了老虎国际。老虎国际致力于科技让投资更美好,愿景成为世界一流的科技券商。投资者在老虎国际可通过一个账户交易美股、港股、A股(沪港通/深港通)、星股(新加坡股)、澳股(澳大利亚股)、期货、基金等全球主要市场的金融产品,享受一流的投资体验。
券商是一个古老的行业,作为一个新进者,老虎国际把自己定义为第三代券商。第一代券商可以理解为传统券商,在线下交易大厅进行买卖;第二代券商开始了电子化进程,从线下到线上进行了浅层服务的转移,改善了用户体验,提高了金融服务的效率;第三代券商更多强调“科技赋能”,在功能业务上更创新、更多样,且存在完整的互联网基因,其是纯线上平台,拥有底层自研能力,例如交易、风控等系统。
老虎国际自主研发的交易平台TigerTrade,累计交易规模在三年内突破10000亿人民币,创下互联网券商冲击万亿交易规模最短用时。2019年3月,老虎国际在美国纳斯达克挂牌上市,目前拥有全球近900万用户,年交易规模超2000亿美元。
作为一家全球化的券商,老虎国际使用私有云+公有云的模式为用户提供服务。老虎国际技术副总裁柳锴表示,安全可靠的服务是金融企业的立命根本,保证数据的安全,用户发生交易时资产要实时刷新,而且交易系统还要保证毫秒级延迟的高可用性。
老虎国际技术副总裁柳锴
由于业务和数据安全两大因素,使得老虎国际的数据架构复杂度非常高,这也导致维护成本和研发效能都大打折扣,底层系统中间件、计算引擎、Hadoop、数据库等都是异构场景。数据安全性、数据可用性和数据架构复杂度成为了老虎国际国际化业务的三个挑战。
数据库的一场技术变革
对于交易,用户最关心的就是快不快,是否能成功,支撑券商平台的核心就是数据库,也就是账本,如果账本出现问题,后果就是灾难性的。
老虎国际在业务发展中随着运维成本逐渐增高面临了两大问题,第一,账本保证数据一致性,就需要做分库分表,已使用的免费开源数据库难以为继;第二,OLTP架构的搭建,用户画像不能接受T+1的延迟,或者小时级的延迟,用户在发生行为时,需要快速捕捉,并提供个性化服务。
“每个延迟带来的后果就是整个业务的损失,当然机会也是一样。”柳锴说道,当用户行为在App里面发生之后,信息的采集和打标签、模型的服务两到三秒是最低容忍度。
老虎国际选择TiDB最早是出于信任和对开源技术的认同,现在看来这份信任是有底气的。按柳锴的话说,我们懂技术,PingCAP也懂技术,我们了解自己的需求,他们知道我们的痛点,所以就用技术说话。
由于业务的特殊性,在数据库迁移上,老虎国际进行了数据的双写,因为TiDB兼容MySQL,新旧数据库同时写入,并进行对比验证。“验证需要写一行代码去对比两个数据库,首先看数据一致性,其次看查询速度。”柳锴指出,用了一周时间我们完成了测试,值得一提的是当数据超过1TB时,数据库还可以保证查询速度。
经历了持续一两个月的数据库双写,并监测了进入到TiDB 10%的双写数据后,老虎国际开始将90%的存量数据在收盘时陆续导入到TiDB。全部迁移完成经历了将近3个月,迁移完成后,老虎国际继续使用双数据库运行了1个月,最终将原有数据库关停。
让技术持续领先业务半个身位
现在老虎国际的数据架构可以分为三部分,第一,将分布在各业务系统甚至APP内的数据进行收集;第二,进行数据处理;第三,将数据存储。
柳锴表示,非敏感数据进行快速输入,敏感数据进行脱敏后输入,之后利用HTAP的能力,既保证OLAP查询时系统的稳定性,又保证OLTP的快速分析,两者同时存在又保证隔离,兼顾安全和稳定。
由于不同国家对于监管、数据可用性,以及SLA(服务级别协议)要求非常高。在同城,老虎国际还利用TiDB的灾备架构,通过服务器负载均衡串联主备机房,数据事实实时存储,同时持久化存储,当主机房发生故障时,服务器负载均衡切换到备用机房,保证数据服务高可用,整体延迟在分钟级甚至更低。
现在老虎国际的数据库可以说是技术领先业务半个身位,之前数据仓库数据延迟在几小时,现在只需要5秒钟。而且TiDB提升了易用性,统一了两个大数据分析场景,节省了40%的资源。
老虎国际目前也在接触TiDB Cloud,在柳锴看来老虎国际未来很多新业务会优先考虑云,因为TiDB 的云战略和老虎国际的思路非常契合。同时未来在一些场景上可以打造出最佳实践,封装成模块化的能力,像数据脱敏、告警等,因为开源技术就是一个共创的过程。而且源于开源的PingCAP,天生就具备全球化的性质,与中国企业出海是非常天然的契合。
好文章,需要你的鼓励
AMD CIO的职能角色早已超越典型的CIO职务,他积极支持内部产品开发,一切交付其他部门的方案都要先经过他的体验和评判。
医学生在选择专业时,应当考虑到AI将如何改变医生的岗位形态(以及获得的薪酬待遇)。再结合专业培训所对应的大量时间投入和跨专业的高门槛,这一点就更显得至关重要。
我们拥有大量数据,有很多事情要做,然后出现了一种有趣的技术——生成式AI,给他们所有人带来的影响。这种影响是巨大的,我们在这个领域正在做着惊人的工作。