金融公司的一场性能升级实战

    国内某金融行业公司建设了一套业务系统来为公司的投资业务提供市场行情分析和风险控制。但在业务系统正式运行三年来，却一直备受性能问题的困扰。系统的优化改造始终没有停止过。但无论是采购更高性能指标的设备，还是从软件方面进行系统优化改造，收效都不明显。缓慢的系统，已经严重影响了公司的业务正常运转。

    作为该公司的CIO，老A该如何选择有效的升级改造方案呢？

    以性能评估分析为依据

    公司现有设备是IBM p5 590的小型机和高档的存储设备，为了保证升级改造能够有效地提升性能，老A决定不贸然采用高性能设备的指标作为采购的依据，而是希望通过性能评估分析来决定选用哪个升级方案。

    老A邀请具有第三方身份的IOPS提速网，以中立的立场和专业的视角对该公司现有系统的整体资源做出客观的评估，让他可以直观、准确地了解自身硬件平台的现有能力，进而评估预测升级方案的效果。

    为保证找出最大的瓶颈，双方交流后认为，应该根据应用特点，在系统最缓慢的时间段进行监控。于是，他们决定在不影响系统安全和稳定运行的情况下，使用ProMATO（系统性能管理工具）进行7天的性能连续监控。

    依据7天的系统监控，他们采集到了系统性能纪录。从2007年12月21日这一天的系统负载率图中他们得知，该系统的运行时间从01∶40到17∶00。再结合当日的业务日志，他们分析得知目前困扰系统的问题主要来自5个时间段。通过分析，他们得出目前因为系统缓慢造成影响的有两个时间段：一是从01∶40 到11∶50 的数据统计时间太久，无法在8∶00以前完成；二是8∶00到17∶00的工作时间，响应时间太慢，造成用户的严重抱怨。

    目标是性能提升２．５倍

    开始评估升级方案的第一步就是制定性能的改善目标，这样升级方案的评估才有评估的标准和要求。老A了解瓶颈定位后制定了三个目标：一是希望降低50%系统的整体负载，以提升用户端的响应时间；二是为了避免影响到业务单位，后台的数据统计必须在8:00之前完成；三是考虑未来数据的增长趋势和因为每天从上级来的数据有可能在03∶00才会到达，所以这个阶段性能目标就是4小时内要完成所有的数据统计。换句话说就是，以2007年12月21日的应用日志为例，共610分钟的统计时间必须在240分钟内完成，性能必须提升2．5倍。

    要让系统变快容易，但是要提升2．5倍的速度，则需要仔细地分析和评估。依据5个不同时间段，其实每一个时间段的瓶颈各不相同，主要来自几个方面的原因：存储IOPS性能不足、存储性能分配不平均、Raid划分不合理、数据库表分配不合理、应用的并发量不够等。

    从现有系统中，老A发现小型机的CPU和内存的性能没有问题，不需要再进行投资改造。主要针对数据库结构、应用软件的修改和存储性能的重新部署，就成为优化升级改造方案改善和评估的依据。

    在各方面的努力和配合下，升级方案终于重新上线了，效果不错。但应用的性能得到改善后，系统优化是一个持续的工程，在优化的过程中，对系统的性能监控和量化分析，是优化过程的重要依据。

    优化升级是一个系统工程，有效的优化升级方案，必须在改造前、优化实施的过程中、优化升级后不同的三个阶段，持续进行性能的量化分析、统计和检验，才能保证改造的成功。