作为国内一线游戏厂商，腾讯游戏曾经也经历过数次令人后怕的运营事故。如今到了运营比重更大的手游行业，回过头来看更有一种警惕作用。知乎用户魏喵侠将带领我们回到事故现场，讲述腾讯旗下3款产品4次运营事故究竟是如何发生的，以及从中得到了哪些教训。
本文是知乎用户魏喵侠发于知乎网的文章，在获得作者授权后于本站发布。
■ 腾讯《凯旋》运营事故
《凯旋》是腾讯代理IMAZIC的一款3D大型网游，也是腾讯试水网络游戏市场的第一款产品。为此腾讯在上海专门组建了网络游戏事业部来负责该产品的运营工作，该游戏从2003年8月1日正式公测上市。
与其他QQ游戏卡盟不同的是，《凯旋》并不是全部都是用QQ账户登陆的游戏，而是专设了“凤凰专区”供QQ用户使用，其他服务器组则是采用点卡计费制度且另设账户运营的。该游戏由于腾讯运营不当，于2009年12月25日停止运营。
《凯旋》在当时是一款非常高端的产品，3D画面效果优秀出色，采用了无缝地图技术、真实装备Avatar、任务链设计、宠物系统等等，设计理念新颖，市场影响力大。
当时腾讯在上海成立的游戏运营部门的架构是如上图的一个大概情况，因为游戏的研发商魏韩方，所以为了保证与研发对接，有很多翻译接口。
MiniBoss事故
2003年8月游戏公测之后，各项指标还是令人满意的的，在2003年10月期间，策划们希望策划一些线上的活动，以便继续冲高在线数。MiniBoss是其中的一个环节。
MiniBoss事故记录
1. 由策划部提出希望在国庆节期间开展一个在线活动，营造游戏中的节日气氛，并提高节日期间在线；
2. 活动策划案需求转交韩方后，韩方回复他们正好新开发了一个类似的活动包，可供我们使用；这个活动包的内容主要是将游戏内地底深处的超级BOSS缩小后随机放到地面刷出，供普通玩家挑战，并且还有机会获得珍贵宝石；
3. 策划部门同意采用该活动包，作为国庆期间节日活动的一部份，并相应准备了相关的网站宣传内容； 活动包由韩方提供给海外部，同时策划部之前提供了测试需求给海外部，海外部测试后认为符合需求，因此交给了技术部，然后技术部安排了自动更新的脚本，在10月1日凌晨自动启动；
4. 十一期间，部门放假，活动自动执行，结果因为一些细节设计问题和宝石产出几率过高，导致活动期间珍贵宝石大量产出，玩家采用自动化方法大量获取珍贵宝石后对整个经济系统产生巨大影响； 流通道具的大量产生导致了一系列问题，游戏体验被迅速透支，流失玩家数量惊人；
5. 假期结束后，整个游戏在线由4W多下跌到不足2W，游戏内经济崩溃，物价异常变动，大量忠实玩家离开，流失玩家数量巨大。因此事故时间太久，无法回档，官方已经没有任何办法消除事故影响； 经此打击之后，《凯旋》的游戏在线一直未能得到恢复，之后再未突破过4W水平，在线持续下跌到停服时的不足千人。
上图可以看出来，当时腾讯的运营团队架构还有很多不合理，每个团队在这一事件之中都有错误，但是都无法避免，其后果就是整个运营团队抱团滚向事故。
其次，发生事故时没有一个负责人来承担责任或者组织事态继续发生，在事故发生之后，也没有人来组织各团队的失误和对接方式。
白装备事故
2004年1月15日《凯旋》发布一个新版本时出现的一个Bug，导致部分玩家背包中的带属性的绿色、蓝色等高级装备变成没有属性的白色装备，同时还出现部分玩家角色消失问题。
在腾讯测试时，未及时发现此问题。更新后，开始陆续接到玩家投诉，技术部检查后确认是游戏Bug造成，于是通过商务部向韩方提出紧急修复的需求，同时开始逐个手工处理玩家投诉。
当天下午的时候，玩家投诉量达到400单，技术部门开始通宵处理，到次日凌晨投诉量已经上升到1500单，手工处理已经无法承担。这时候因为北京的展会缘故，相关领导均不在公司，一直无人拍板最终处理方案，只能继续手工处理。
2004年1月16日下午，韩方发来一个统计工具，用于统计受损的账户数量。经过统计后发现受影响账号竟然在10万以上，于是又经过漫长讨论，最终决定回档。
此时距离发现问题已经过了30多个小时，需回档时间近2天，受影响活跃玩家几十万人； 回档过程中，再次发现数据异常，无法启动服务器，游戏停机时间一再延长，在18个多小时后才恢复了服务；经此打击，更多的活跃玩家离开了《凯旋》，游戏在线下跌到1万余。
对于回档这种很平常的手法，当年的腾讯是既没有预案也没有演练，在事情发生后最终执行的一团糟。在此之后，腾讯游戏运营部门针对问题作了很多调整，以下是2008年腾讯大讲堂分析这些事故后得到的教训。
1. 对于网游产品，测试部门是一定需要专业重点建设的；
2. 对于紧急事故必须有完备的处理预案和责任人制度。对于重大的备份恢复操作，平时要经常演习熟悉；
3. 对于风险评估和具体应对，我们还需要更多的经验。对于用户管理和运营维护方面的经验缺乏，舆论导向控制不力，用户反馈收集缓慢，信息不全，用户体验很差；
4. 最重要的是，我们需要一个符合网游产品运营特点的团队管理结构。
再此之后，腾讯游戏对于运营团队进行了个大面积的调整，使之更加符合国内游戏的运营。
■ 腾讯《QQ堂》运营事故
《QQ堂》是一款仿《泡泡堂》的休闲游戏，从2004年6月开始开发，12月30日正式公测上市，2005年7月1日发布正式版本，游戏最高在线一度达到22万最高同时在线，注册用户数多达数千万玩家。
相比运营《凯旋》，《QQ堂》的团队已经成熟了很多，《QQ堂》产品第一次建立了产品运营团队，虽然才3个产品人员，但是已经开始建立项目和产品的负责制。同时，部门也逐渐开始尝试将技术主导型的工作模式转变产品运营主导型的工作模式。
《QQ堂》如果诞生在别的公司，注定将成为一个没有任何市场反应就会迅速失败的产品，但是腾讯的平台给这个产品源源不断的送去了用户，让产品研发运营团队得以生存，得以学习和提高。在运营了7个月后，产品运营团队开始逐渐找到了感觉，终于开始学会如何掌控这个产品，7月的正式版本之后，《QQ堂》慢慢发力，在线开始节节上升。
但糟糕的是，产品团队信心十足，甚至开始变得有点急功近利了。
2005年8月到9月间，腾讯游戏的另外一款重量级产品《QQ幻想》的跳票，互娱系统的月度考核指标遇到了极大的挑战，腾讯游戏所以在运营产品都要求设法拉高收入，严守KPI底线。
《QQ堂》当时在线状况发展良好，于是增加收入的重担一下掉到了《QQ堂》的身上，在几次风暴会议后，多个营销性质项目开始启动。其中，有一个博彩类的项目非常被大家看好，这个项目叫做《QQ堂》“欢乐幸运星”抽奖活动。
2005年9月29日晚8点，在经过研发测试部门加班加点的紧张开发之后，“欢乐幸运星”活动如期开发完毕，并按照版本计划，更新到了外网环境。
8点半钟，运营团队接客服报告，声称有两名玩家已经中到1千万游戏币的大奖。运营团队按照紧急预案召集所有相关人员赶回公司处理。
9点多，客服方面再次汇报，已经确认Bug存在，有大量玩家重复中奖，运营负责人要求立即关闭道具售卖系统。
10点前，运维同事关闭了道具售卖服务器，产品、研发、运维、测试等各线人员赶到，马上召开了事故分析处理会议，并通知平台线方面同事协助。
11点，事故原因查明，得到事故初步损失统计，参与得利玩家第一批名单也已经获得，运营团队开始要求各方面协助拦截非法游戏币。
至此，堪称腾讯游戏史上最严重的事故就这么发生了，仔细看一下其发生的过程，在今天看起来甚至有一点可笑。至于有多严重，我慢慢说。
在抽奖活动的设置中，集齐一套道具（7块多Q币），可能中奖1000万游戏币（相当于1000Q币），一般情况概率应该是万分之零点六。但策划文档几经修改后，中奖表格已经出现了很多错误。而策划评审、运营评审、程序实现各个环节中，居然都没有发现中奖列表的机率加起来已经不是100%了。
程序实现后提交测试组测试两轮，在测试中因为没有使用大量QB来进行真实的模拟测试，所以居然没有发现概率方面存在异常。种种错误累加起来使26%概率的特等奖终于出现在了外网环境中。
从当晚8点多发布活动到10点之前关闭这个活动，仅一个多小时共产生游戏币21亿，有700多名用户参与了刷取游戏币。
由于钱的数量巨大，玩家四处转移游戏币。而冻结账户方面没有预案，虽然紧急处理及时，但冻结不彻底，扣款程序又出问题等, 最终损失还是构成了一级事故。
事后总结
1. 需求文档需要更仔细check，评审环节的疏漏非常严重；
2. 任何概率类设计都需要设置总量控制，设置多级阀门控制，不要把能广泛流通的货币或者道具直接及时的交到玩家手上，不要奖励；
3. 紧急预案不够完善，只考虑到产品范围内的各种处理方案，没有考虑如果在部门或者公司级平台上出现问题后的处理措施；
4. 在处理过程中，产品人员才惊奇地发现，原来还有游戏币银行这样的东西；
5. 在要求各个方面协助冻结相关账户的时候，各系统才开始编写相关的程序进行扫描和回扣，这其中又发生新的Bug，但是多次扣款失败，使损失额度没有能得到很好的控制。
“欢乐幸运星”事件之后，腾讯游戏停止了所有涉及抽奖Q币、游戏币的活动，再不涉及任何通过平台渠道发放Q币的活动，以避免风险。《QQ堂》团队也停止了这种直接通过抽奖获利的营销活动，开始继续专注于游戏内容的设计和付费挖掘。
2006年2月份，《QQ堂》一系列游戏活动获得成功，同时在线达到22万高点，收入也实现了连续翻番，《QQ堂》道具营销方面经验让很多产品学习得益。
■ 腾讯《QQ幻想》运营事故
《QQ幻想》是腾讯的一款战略级产品，是腾讯游戏自主研发了3年多的首款MMOG产品。这款产品也是腾讯游戏在《凯旋》项目失利之后，再次尝试运营的MMOG产品。该款产品2005年10月25日公测，最高同时在线用户数一度达到66万，是互娱重要的收入产品。
虽然借助腾讯平台的强大力量，《QQ幻想》获得了公测的良好效果，但是游戏设计，运营理念方面的一些不足还是让产品在线不断下挫。收费后，产品在线已经不足公测时的一半.在一年多运营过程中，这个项目也不断出现过不同程度的事故，在线活动的投诉率一直居高不下。
2006年11月12日下午3点，客服方面报告，在游戏中出现一个开店售卖的Bug，会导致开店商人显示的物品列表和实际不符。有玩家利用此漏洞进行欺诈，导致大量用户投诉，已经构成一级突发事故，事故已经分派到三线。
接报后，产品经理和服务端主程赶到公司处理。经过分析qq游戏脚本错误怎么解决，发现是因为客户端Bug导致看到的要买的宠物和实际要买的宠物不一致，从而被玩家利用进行欺诈。产品方面分析了具体过程和投诉单据后认为该问题比较严重必须尽快解决，因此打电话通知测试组运维组，准备进行紧急更新。
因为客户端方面人员一时联系不到，因此PM决定从服务端解决该问题。PM提出两个临时解决方案，一个是带宠物商品交易会直接失败，一个是带宠物商品交易，宠物商品会自动回到玩家背包。产品方面建议采用后者方案，比如不容易引起玩家困惑。
下午5点，临时修改完毕，程序在内网更新，测试组进行了测试。6点，更新到外网一台服务器，经过一个小时观察感觉正常，7点半进行了全服更新，产品方面在官网和论坛发布了暂停交易公告。再继续观察了半小时无异常qq游戏脚本错误怎么解决，产品方面和客服方面沟通之后，大家回家吃晚饭。实际此时，一个极其严重的Bug已经被不知不觉得放到外网了。
1. 一个游戏道具复制漏洞实际上已经被部分玩家发现，玩家在不断利用这个Bug复制道具的同时，开始通过各种途径传播这个问题：游戏内各种论坛和QQ群；
2. 越来越多的用户开始利用这个Bug复制道具，而且用户开始意识到大量非法道具一定会被官方查处，因此开始设法用各种各样的方式转移复制出来的非法道具；
3. 晚上8点多客服报告，开店售卖可能还是存在问题。程序组测试组赶回公司处理，分析后认为下午的修改，有极低概率可能导致道具复制，并且及时修改了这个问题；
4. 晚上9点半，程序方面回报问题已经解决完毕，按问题出现概率来看，带来影响应该不大。因此产品方面就没有将此问题升级到事故处理流程进行分析处理。
至此，最后能挽救这个装备复制Bug的时机被错过了。
2006年11月13日，产品方面发现用户反馈意见很多，问题比较严重，于是要求程序组重新分析原因，要求运维组统计道具复制问题的程度。
测试组重现Bug后发现还有更简单的重现办法，复制门槛很低。运维统计的初步结果也表现涉及复制玩家多达千名，于是召集事故处理会议进行讨论。
事故处理会议决定先对嫌疑最大的963个账号进行查封处理，以防止复制道具进一步流传，同时开始进行扫描分析。
因为事故发生已经过去10多个小时，复制物品游戏内流向已经非常复杂，但是最近的数据备份时间却是在凌晨4点，在事故发生之后，再近一次的备份时间是前天的凌晨4点。运营方面陷入两难境地，无论是否回档都面临重大损失。
事故处理小组无法迅速做出回档决定，于是一方面向BU层面报告，一方面决定采用保守方案，扫描全服务器数据，以查找并冻结复制装备。
到中午时间，数千个拥有复制装备的账号已经被冻结，但是游戏内仍然有大量复制道具仍然还在流通，整个游戏的物价受到剧烈影响，经济系统陷入混乱之中。
为了稳定玩家情绪，运营团队通过官网发布公告，道歉并宣称不会回档处理，官方有能力收回非法装备，希望大家给与支持。
到下午时间，扫描数据的工作已很难取得成效，大量无意购买复制装备被封号的玩家也开始激烈投诉。各渠道的一线客服压力剧增，大量人力被调派来协助处理，数以千计的投诉单据给产品方面增加了巨大压力。在这样巨大的压力下，运营组决定先停止服务器，然后再决定具体处理方案。
11月13日晚上，游戏内各大主城开始聚集玩家角色，抗议腾讯官方
此前运营团队做出了不回档承诺，超越48小时的回档带来的损失、回档全部57组服务大区数据的难度和风险、回档后会产生的各种用户的海量投诉。另一边是玩家越来越激烈的抗议情绪、游戏内混乱的经济系统、接近崩溃的物价和无数根本就无法处理的投诉。
所有游戏部门高管决定召开第二轮的事故处理讨论会议，会议到晚上1点钟做出决定，最终决定不惜一切损失和风险进行回档。接着运维组开始连夜准备回档方案，程序组开始制作各种工具，产品组开始准备相关公告和补偿方案。
那天深夜，回档的公告在经过了无数人的反复的，斟字酌句的修改后，最后终于在向玩家承诺公布处理方案时限的最后半小时放到了官方网站上。
早晨8点，回档成功，服务器分批开始重新开放。
从上图可以看出，事故对游戏在线人数和收入都有很大的冲击，更糟糕的，与此同时，产生了舆论危机，南方周末用大幅篇章报道了这次负面事件。
《QQ幻想》游戏在经历了这次波折之后，游戏衰退速度明显加快，到次年3月份在线人气已经跌破10万，游戏产品生命周期临近。这之后，《QQ幻想》还经历了一次727宠物捕捉系统事故，幻想产品正式进入快速衰退期。
项目组从2007年初开始探索免费网游运营模式，制定了幻想“突围”研发计划，利用幻想已有资源在3个月内制作出一款采用免费运营模式的《QQ自由幻想》产品迅速推出。
《QQ自由幻想》取得了不错的运营成绩，将流失的幻想用户挽留了回来，到2008年，《QQ自由幻想》重回10万在线，并创造收入新高。4月3日，《QQ自由幻想》正式上市公测，以期重续《QQ幻想》的昔日辉煌。
更多内容请点击原文链接浏览
