技术：从“人肉云计算”到“超级会计师”，人少了速度却更快

　　客服：每天回答上千位客户的咨询，越来越多客服是人工智能

　　店铺：坐拥千万粉丝的夫妻网红店，今年备了价值近亿元货品

　　物流：超级机器人旗舰仓上线，新增快递员撑起收包裹的速度

　　明天就是一年一度的“双11”购物狂欢节！自2009年启动以来，每年的“双11”都像是一艘需要面对前所未有之规模和复杂挑战的巨型航母，而支持这一“超级工程”正常运行的背后，除了交易、支付系统外，还有技术、客服、物流等人员加班加点的辛勤劳作，这是一个庞大、复杂、精密的商业协同过程。

　　本期77号调查，我们走近网红店铺及“双11”客服、物流、技术人员，探寻在“双11”大流量、大访问量、大成交量、大包裹量背后，保证其正常运作的青年力量，以及支撑今年预计15亿快递量的“双11”保障秘籍。

　　A探寻·“双11”背后的技术支持

　　从每秒零笔到每秒12万笔 从最初的手忙脚乱到现在的淡定、清闲

　　“双11”快捷支付背后有群技术牛人

　　每年的“双11”都会创造一个个数字的记录，而这一个个记录的背后，对技术人员来说则是一次次的挑战。

　　2009年，淘宝第一次搞“双11”大促，因为知名度还没有打开，那一年的交易量并不大；2010年的“双11”，支付宝全天成功交易1261万笔，平均每分钟有1万笔；而到了2016年的“双11”时，支付宝的交易峰值达到每秒12万笔。

　　9年“双11”，蚂蚁金服副总裁、首席技术架构师胡喜感慨颇多，一路走来，他和团队攻破了一个又一个支付难题。交易笔数提升的背后，蚂蚁金服技术能力被“逼”着快速升级。

　　>>>最初的“双11”

　　交易量突增让人措手不及 技术人员如临大敌到处“搬资源”

　　2004年时，支付宝还是淘宝中的一个结算部门，会计人员用两台电脑和一张Excel表就能进行结算，那时每天的交易金额是三位数，全天交易笔数只有十几笔，分摊到每秒钟接近于零。

　　2009年，淘宝第一次搞“双11”大促，交易量不多，所以2010年大促前，支付宝的系统规划是按照每年增长100%的余量预估的，即系统永远有一倍的余量。按照当时的估测，大家觉得一倍余量一定够用。退一步说，即使出现问题，也可以等到交易量增长到一定程度时再继续增加资源。

　　但是，当天突如其来的巨大交易量让人措手不及。

　　2010年11月11日零点刚过，坐在电脑旁的胡喜突然发现，支付宝的业务量正在快速攀升，一下子高出平时最高值的三倍。

　　刚开始，胡喜还有些侥幸，觉得大促刚开始时用户最活跃，白天情况会慢慢好起来。然而，直到当天早上六七点业务量还没有降下来，支付宝的技术人员开始着急了，大家意识到，当天的交易量一定会远远超出系统的容量。情急之下，支付宝技术团队开始不停“搬资源”，哪里有富余的计算资源就搬过来应急，到后来采用“砍业务”的方法，将暂时可以牺牲的业务砍掉，再把资源搬过来。

　　那天，所有开发人员都坐在电脑前，如临大敌般地处理问题：“到底这个机器是否要重启一下？这个系统容量不够我要不要调一些机器过来？”

　　核心账务系统报警 离数据库崩溃只剩4秒才处理好

　　当天的23时59分30秒，在2010年“双11”大促就要结束时，核心账务系统突然报警，短促清晰的警报声让在场每个人都打了一个寒战。

　　“资源马上耗尽！赶紧杀掉非关键应用!”听到报警声后，负责数据库的同事一边冲过来一边大喊。胡喜倒吸一口冷气，他清楚可能产生的后果。那时，支付宝的账务数据库还没有做拆分，所有交易都经过虚拟账户，一旦核心账目系统出现问题，支付宝所有的业务都会停掉，数据库再想恢复就需要经过很长的时间。如果出现这种情况，对淘宝和支付宝都将是灾难性的。

　　急中生智，技术团队决定临时把会计的应用杀掉。因为当时支付宝的账务应用和会计应用是在一个数据库中，而会计的应用更多是在交易之后进行，暂时停用还可以恢复过来，这样便可腾出系统的资源，把账务系统的性能提升50%。

　　负责消息系统的几人冲上去，争分夺秒地在每台机器上敲上一行行代码，紧急杀掉非关键应用，确保核心数据库资源。当敲完最后一行代码，将一个会计系统的应用杀掉，将资源释放出来，离数据库崩溃只剩下4秒。

　　尽管过程很惊险，但那一年的交易量很亮眼：全天成功交易1261万笔，平均每分钟有1万笔成功交易。

　　>>>如今的“双11”

　　从“人肉云计算”到“超级会计师”技术人员少了速度却更快了

　　2010年“双11”大促当天，几百名技术人员全坐在电脑前。“有问题立马就要应急，不行就重启机器，容量不行就加机器，我们笑称这是‘人肉云计算’。”胡喜说，而到了2016年“双11”，12万笔/秒的新支付峰值（是2015年的1.4倍）背后，提供技术保障的人员只有不到30名。

　　“对于支付宝技术来说，2010年是一个拐点，那一年，峰值比此前翻了三番，如果还是用传统型架构，很难满足我们快速的发展。我们分析了整个业界的架构，支付宝遇到的问题，已不是任何一个现有业界技术可以解决的，我们必须自己去蹚出一条解决之道。”胡喜说。

　　在2010年的“大考”后，所有人都在反思：以后每年的“双11”业务量的增长只会更快，支付宝的系统怎样才能顶得住？“从2010年开始，我们给自己定的目标是，每年专为‘双11’提供技术保障投入的成本比前一年都降30%-50%，到2019年，我们将不再花一分钱投到‘双11’当天的技术保障上，也就是说‘双11’将完全常态化。”

　　2016年的“双11”技术保障上，核心的交易、支付、会员、账务都在Ocean Base“超级会计师”上运行。为什么说是一个超级会计师？因为Ocean Base是一个海量数据库，可以存放千亿条以上的记录，就像一位超级会计师，单台普通的服务器每秒也可以处理百万笔事务，平均一次花的时间是毫秒级别。

　　秒杀夏洛克的超级“神探”助阵 今年“双11”闲到嗑瓜子聊天

　　今年“双11”，支付技术保障除了“超级会计师”Ocean Base外，高峰时段还会有“外援”：一部分交易将首次跑在临时“征用”来存放和处理分析离线数据的服务器上。

　　另外，还有秒杀夏洛克的超级“神探”。这是蚂蚁技术团队自主研发的一个叫GEABASE（以下简称GB）的金融级图数据库。

　　看过美剧《神探夏洛克》的人都知道，第一季第一集开头，夏洛克第一次看到华生，就从他的衣着、口音、腿伤等细节推断出他的职业及过往经历。GB也有点像个超级神探，因为它能从百亿个节点、千亿条边（关系）的海量数据规模中迅速“破案”，且时间以毫秒为单位。每年混迹“双11”的各路江湖人马，比如刷单党，GB可以通过算法，去甄别量级相当大的评论和差评中哪些是雇人刷出来的，难怪技术人员开玩笑地说：“今年这个‘双11’，我们可以嗑瓜子聊天了。”