☆ Bloder preview

交易系统大考

市场突然逆转,资金蜂拥而至,让长期处于「熊市水准」的证券行业各类交易系统措手不及

各种政策利好催化之下,中国 A 股市场近期迎来空前的交易盛况。投资者情绪不断高涨,多项交易指标破历史纪录,2024 年 10 月 8 日开盘仅 20 分钟成交额就突破 1 万亿元……

然而,已经历数年低迷市场的证券交易所和证券公司,似乎对这场突如其来的大逆转并没有做好充分的技术准备。2024 年 9 月 27 日,上海证券交易所盘中出现罕见的「堵单」,股票竞价交易成交确认缓慢异常。多家证券公司的客户端接连崩溃,包括中信证券、中信建投、申万宏源、银河证券、招商证券、中泰证券、国信证券等在内的券商交易 App,被客户反映出现服务器繁忙、请求处理不通畅、无法交易、持仓信息不显示,甚至行情界面空白的情况。

中国证券市场正经历一次全行业的 IT 大考。9 月 29 日,上交所开展通关测试,累计接收申报是 9 月 27 日的 3 倍,并称「系统整体表现正常,符合预期」。国庆长假最后一天(10 月 7 日),沪、深、北三大证券交易所开展系统开机连通性测试。多家券商也在假期期间对通信带宽、交易后台系统等扩容、优化,并进行了多次压力测试。

同时多位从业人员反映,硬件设备市场上服务器热销,「券商都忙着买服务器扩容,有的地方都拿不到现货」。

不过,10 月 8 日开盘后,仍有不少投资者反映,多家券商 App 出现无法登录、卡顿、延迟等状况。交易所的系统目前运行正常,没有出现「堵单」的情况。

证券行业是一个高度依赖信息技术的行业,系统安全运行与否,关乎市场稳定、投资者权益,甚至国家金融安全。在金融信创、核心系统自主掌控的大趋势下,有关部门早已明确提出要求,2027 年实现所有系统的信创改造。然而,如何实现国产技术产品的兼容适配,在保障稳定运行的基础上开展升级换代,成为交易所近年的工作重点。

「信创软硬件产品从产品能力、技术成熟度和生态兼容性等方面,跟非信创产品还有一定差距。但随着行业信创实践不断推进,差距正在缩小,技术组件的空白正在不断被填补。」某券商系统运行部人士表示。

券商当前的业务规模以及复杂程度,早已远超传统交易系统的承载能力。券商的核心交易系统主要包括账户、资金、交易、清算四大板块。由于系统庞杂、耦合性强,变动成本巨大、改造周期长,不少中小券商的核心业务系统技术架构已多年未升级,与每年数十亿元 IT 投入的头部券商的差距较大。2023 年,106 家券商 IT 系统投入合计达 430.3 亿元,平均数 4.06 亿元,中位数 1.69 亿元。

据财新了解,不少券商的 IT 投入主要集中于硬件建设,如数据中心建设和信创设备采购,「减少技术外部依赖,加大国产硬件设备资源投入」。而在软件和系统上,中小券商还是主要交由 IT 系统集成商(第三方)来完成,投入相对有限;「大券商自建系统也不是很理想,费钱费人不说,稳定性也不好保证」。在金融行业降薪大潮下,券商也难觅高端 IT 人才,「厉害的都去互联网大厂了」。

堵单

9 月 27 日 10 时 12 分至 11 时 12 分,上证指数分时图画出一根横线,交易量同步萎缩,直至 11 时 13 分左右才有所恢复。上交所 11 时发布公告称,「正在就相关原因进行排查」。午后,上证指数攀升后继续高位躺出一根横线直至收盘,分时交易并未明显放量。

「买不了,也不能撤单,现金全被锁住了。」有投资者甚至以为,交易所「拔网线」了。「上午『断网』,下午限流,报单撤单都要排队。为什么同一只股票,有的人能交易,有的人不能交易,公平性何在?」另有投资者在社交媒体上发声。

上交所在当晚公告致歉:「今日开盘后,本所股票竞价交易出现成交确认缓慢的异常情况,并导致交易受到影响。经处置,股票竞价交易于 11 点 13 分起逐步恢复。对于该异常情况的发生,本所深表歉意。」

股票竞价交易成交确认缓慢,在证券期货 IT 技术界俗称「堵单」。但市场颇为不解的是,9 月 27 日当天上交所的成交量仅 492.68 亿股,成交金额 4810.73 亿元,不及前一个交易日,也远不及历史峰值。为何会出现「堵单」?交易所方面第一时间并未锁定哪个环节出了问题。

随后的 9 月 28 日、29 日两个非交易日,故障能否排查解决,直接关系到 9 月 30 日的交易。上交所通知,于 9 月 29 日开展竞价、综合业务等平台相关测试,邀请市场参与人参加测试(主要涉及券商、公募基金等机构),主要验证相关技术平台业务与技术调整的准确性,测试主要内容包括「验证连续竞价时段集中申报大量订单时,竞价平台业务处理平稳运行」等。

据财新了解,直到 9 月 29 日上午的测试,「堵单」问题仍然存在。「真是一筹莫展,都在怀疑报单程序有问题,或者网关有问题,但排查后发现都不是,就是没办法定位出问题在哪里。」当天下午,在「斗胆」尝试重启交易系统后,问题终于解决。

一位了解相关情况的专业人士对财新表示,交易所的操作系统较为古老,在处理高并发任务时遇到瓶颈,尤其是在内存管理方面;当系统负载过高,内存被耗尽,导致程序无法正常处理请求,甚至完全卡死。

「在这种情况下,重启系统可以清理内存,释放被占用的资源,从而让系统恢复正常。这种现象在较老的系统中更为常见,因为它们的内存管理和资源调配机制相对简单,不如现代操作系统那样高效。」这位专业人士说,可以增加几条简单的操作系统命令,将缓存中的数据写入硬盘,释放内存空间。

另一位知情人士称:「谁都没想到居然会是内存问题。主要是上交所的系统太古老了,现在一般的新系统是不会出现这种情况的。」

据财新了解,上交所目前的交易系统源自德意志交易所的 Xetra 交易系统,而该系统是基于一款 VAX/VMS 的操作系统,由一家名为 DEC (Digital Equipment Corporation) 的公司于 20 世纪 70 年代末推出。VAX/VMS 系统属于小型机,但能够处理复杂任务和支持多用户,较为安全和稳定,早期广泛应用于大型企业、金融服务和科研机构,尤其是需要高性能、高安全性的计算环境的领域。

不过,1998 年 DEC 被美国信息技术公司康柏 (Compaq) 收购,这是当时计算机行业最大的并购案之一。2002 年,康柏被惠普以 250 亿美元收购。DEC 早已停止了 VAX/VMS 操作系统的开发,此后也没有针对该操作系统的补丁和更新。因此,如今了解该系统的专业人员并不多。

一位资深证券行业技术人士对财新表示,成交笔数的激增,也是交易系统「堵单」、负载过高的直接原因;「今天市场的微观结构较几年前已有很大变化。从申报数量和成交金额看,它还没有达到历史峰值;关键在于成交的笔数上,它可能已比历史峰值要大很多。计算机不认成交多少金额,它是认多少成交笔数」。

所谓成交笔数,是指在交易系统中完成的实际交易数量。每笔成交代表一笔买卖双方达成的交易,成功匹配一个买单和一个卖单。一笔委托会导致多笔成交,例如一个买入委托可能被多个卖出委托部分成交;当一笔委托未能完全成交时,剩余的部分可以与后续的其他委托继续成交,这种情况会导致成交笔数增加。

在上交所 9 月 29 日的测试中,竞价交易系统累计接收申报 2.7 亿笔订单,是历史峰值的 2 倍,是 9 月 27 日申报的 3 倍。据财新了解,上交所 2009 年 11 月底上线新一代交易系统后,早已能日处理 1.8 亿笔订单、3.5 亿笔成交。2015 年 6 月 25 日,上交所交易系统成功经历了日申报笔数最高达 9000 万笔、日申报速率最高 10 万笔/秒、日成交额 1.31 万亿元的市场考验。

根据上交所统计年鉴,2022 年该所股票现货总成交笔数 810869 万笔,以全年交易 242 天计算,每个交易日平均配对 3350 万笔交易。而 2015 年时,上交所全年股票成交笔数为 159088 万笔,全年 245 个交易日日均配对 649 万笔交易。七年之间已有 5 倍的差距。如遇特殊行情,配对成交需求会远超平均值。

此外,亦有市场分析人士认为,成交笔数近年的增多,还与不少券商的极速交易系统和机构交易系统的「大单拆单」行为有关。所谓「拆单」,就是由券商的交易系统分解交易指令,给出更优下单方式建议,以减少冲击成本,或是设置浮动报价区间,便于隐藏交易意图,抑或是执行算法交易,实现更快的交易速度。

交易所上信创

上交所的第三代交易系统⸺「新一代交易系统」NGTS,于 2009 年 11 月上线至今将满 15 年。在前述「堵单」Bug 尚未定位时,相关技术人员分析认为,问题最有可能出现在两个方面:一是软件错误,二是信创环境兼容问题。

「软件错误非常正常。可能某一个变更通过测试后上线了,但在生产环境下暴露出风险,而测试时没测出来。纳斯达克就曾出现过撮合引擎故障的问题,纽交所的系统也曾导致部分股价异常,东京证交所甚至宕机一整天。」前述资深证券行业技术人士说,「也可能是近年上信创,更换了一些新的国产硬件,这些硬件资源和以前的交易系统不太匹配,在适配性和兼容性上出了问题,测试时可能没出现内存方面的问题;可能会有无数个小 bug 逐步出现,不可能一次搞定。」

另一位专业人士表示:「一些国产信创软件都比较年轻,搞出来也就三五年,基本上也不开源,有的是拿开源改的,有的是自己原研的。它们和生产系统的磨合,需要经过很多年才能成熟。」

据财新了解,上交所 NGTS 系统当年的开发商是埃森哲,选定了德意志交易所当时的 Xetra 系统作为基础系统,然后根据中国市场特点加以改造,系统的硬件平台是惠普的 Alpha/安腾系列主机,总体项目管理团队是 IBM。

「基本上就是把德交所、东京证券交易所的几种模式揉起来,是个很复杂的系统。十几年来,今天上一个功能,明天上一个功能,并没有一个非常确定的厂商来提供后续的维护。」一位了解相关背景的技术人士说,「交易所这么多年各种迭代,都没人敢动最核心的这块。上信创,动的都是一些外围的东西;太核心的东西,估计懂的人不多了。」

上交所 NGTS 系统曾获得 2011 年证券期货科学技术奖一等奖,主要完成人包括时任上交所总工程师白硕等人。白硕如今加入了上市公司恒生电子 (600570.SH),担任副总裁、首席科学家、大模型产品总监。他此次婉拒了财新的采访。

交易所的招标公示情况显示,神州数码系统集成服务有限公司中标过上交所的「2024 年主机及软件维护支持服务采购项目」,恒生电子中标过「大模型算力平台硬件采购项目」,深圳市金证科技股份有限公司中标过核心交易系统的自动化测试平台项目。上交所还采购了信创鲲鹏服务器和信创海光服务器。

相比之下,此番火爆行情中,深交所的交易系统尚未出现异常。据悉,深交所的系统早期源于 IBM 的一套技术,后买下版权自主研发出了第五代交易系统⸺STSV5,完全基于开放平台和分布式架构,于 2016 年 6 月上线。该系统由时任深交所副总经理邹胜牵头研发,「消除了对单一软硬件供应商的依赖,完全自主研发,实现了交易系统的全面自主可控」,「可达 30 万笔/秒、委托 4 亿笔/日的委托订单处理能力」。

2019 年 11 月,深交所还与巴基斯坦证券交易所签订合约。深交所以自主研发的交易和监察系统为基础,结合巴基斯坦资本市场的特点,升级巴交所的交易系统并建设市场监察系统,开启了中国证券技术系统走出国门的先河。2023 年 5 月,巴交所启动了新的交易和监控系统。

邹胜也已「下海」创业,目前是华锐金融技术董事长,该公司主打分布式低时延金融技术;该公司总经理苗咏,此前也供职于深交所。

面对新形势下对核心技术自主掌控的战略要求,如何在保障稳定运行、满足业务创新的情况下,有序开展交易系统的升级换代,是交易所近年的工作重点。此外,在上交所目前的交易系统中,股票交易和债券交易是放在一起的,而深交所的交易系统是分开的。据悉,上交所正在筹划建设第四代交易系统,将推进股债分离,探索交易系统国际化,实现技术对外输出。

值得一提的是,沪深交易所每个交易日处理的订单容量,早在多年前就超过纽交所、纳斯达克、伦交所、德交所等。背后一个重要原因在于市场交易机制的不同:中国市场是所有的订单,不分机构还是散户,全部进入交易所集中撮合;海外市场主流的做法是由「中间商」撮合后,剩余的未撮合订单才进交易所。

例如在美国股市,个人投资者通过券商 (Brokerage Firms) 下单买卖股票时,订单首先会被发送到券商内部进行处理,或打包并转交给城堡证券 (Citadel Securities) 等做市商 (Market Makers) 处理,做市商会用各自持有的股票和算法进行撮合或执行订单。做市商会给券商支付佣金,这个模式叫「订单流支付」(Payment for Order Flow, PFOF);这也是不少互联网券商「0 佣金」的秘密所在。只有在内部或其他场所没有成功执行的情况下,订单才会被发送到交易所。

美国证券交易委员会 (SEC) 主席 Gary Gensler 曾在 2022 年透露,美国市场 90%–95% 的散户订单是由「中间商」处理的,这种「暗池」(Dark Pools) 交易,占美国所有股票交易量的 42%。

因此,在技术架构上,美国的交易系统通常采用分散式架构,多个做市商和券商参与其中。而中国证券市场倾向于集中式架构,由交易所负责所有订单的集中处理和撮合,要求交易所具备高性能、高可用性的 IT 系统,以应对大量的实时交易请求;还需要不断优化系统架构以提高处理能力,特别是在市场波动较大时,确保能够快速响应大量订单。

尽管 PFOF 模式降低了交易成本,但也引发了关于透明度和公平性的争议。例如,做市商可能没有给到散户投资者最优的交易价格。SEC 的一份研究估计,PFOF 模式让散户投资者每年少赚 15 亿美元,即每 100 美元的交易少赚 1.08 美分。因此有人认为中国模式相对透明,投资者能够直接看到市场的实时价格。

不过,随着市场的不断发展,有关方面也在不断探讨针对交易制度的改革,其中就包括是否要让散户或所有订单直接进入交易所的讨论。在中国当前模式下,中介机构仅承担通道作用,难以发挥投资信息的公平传播、专业交易能力以及提高交易效率等作用。但由于交易制度改革属于市场基础制度,任何变革都会影响整个市场,因此目前各方的态度还是谨慎探索。「可以先试点,从几家优质大券商开始内部撮合,毕竟资本市场会不断成长,规模不断扩大,一路到底的交易效率会受到严重影响。」某业内人士表示。

券商 IT 扩容

此轮市场大逆转,让不少仍处于「熊市水准」的证券公司 IT 系统措手不及。开户人数激增、交易软件活跃度空前、主机容量频频报警……「十一」长假期间,不少券商都加班加点扩容系统,全力备战节后开市。即便如此,10 月 8 日开盘后仍有不少券商 App 出现故障,被投资人指责「耽误了发财」。

一家中型券商信息技术部人士对财新称,券商 App 卡顿、延迟主要是因为行情火爆,投资者的下单需求激增,瞬间的并发交易请求超过券商交易系统的处理能力。即使能够下单,但行情刷新失败、持仓信息不显示,也是因为系统容量有限。当资源紧张时,系统会优先保障核心功能(如交易),而非核心功能(如行情、持仓等)可能会被延迟或中断。「这种设计是为了确保在高负载情况下,用户仍然能够完成交易。」

据悉,有地方证监局在国庆假期前向辖内券商发出了关于加强证券期货行业网络和信息系统安全保障的通知,要求重要信息系统的订单吞吐速率、成交峰值吞吐速率等指标达到历史峰值的 3 倍以上、交易时段相关网络带宽达到近一年使用峰值的 2 倍以上。

某券商称,近日启动了系统性能容量评估与扩容工作,「深入分析历史交易数据,对所有涉及交易与客户服务的系统,审视性能指标运行情况,识别出需要扩容的资源,包括服务器资源、网络带宽等,更为有效地作出扩容决策」,「对承接客户接入的互联网线路带宽以及全国各地接入主站,实施 2 倍以上扩容」。

不可否认的是,这些为确保在高峰期系统正常运行而额外增加的服务器,在平时可能大多会处于闲置状态,于是造成资源浪费和成本增加。而另一方面,扩容也不仅仅是增加硬件资源,尤其在现有系统架构已存在设计限制的情况下,如果需要按照高标准扩容,可能还需要对原有架构进行重大修改,而这样的改变会影响系统的稳定性和可靠性。

此外,在原有架构上进行优化和扩展可能会增加更多复杂性,使系统在高负载情况下更易出现故障,技术团队需要花费大量时间来测试和验证新架构的稳定性。尤其是一些大券商,承载千万级别的客户数量,系统架构庞杂,很难做到动态灵活扩容。即使扩容,也会带来系统运维、版本升级等高昂的维护成本。

近年来,券商行业 IT 投入不断加大。据中国证券业协会的数据,券商 IT 投入总额从 2017 年的 115.90 亿元增加到 2023 年的 430.3 亿元,IT 投入占上年营收比重从 2017 年的 3.53% 增长到 2023 年的 10.89%。不过细分看,头部公司和中小公司分化较为明显,差距在进一步拉大。

根据 2023 年年报,IT 投入最多的几家券商分别为华泰证券(25.78 亿元)、国泰君安(21.6 亿元)、中金公司(17.29 亿元)、招商证券(15.54 亿元)、海通证券(15.21 亿元)、中信建投(14.6 亿元)、广发证券(13.29 亿元)、国信证券(12.09 亿元)、中国银河(11.71 亿元)、国投证券(10.91 亿元)。中信证券虽未披露可比数据,但同期公司 IT 人员共有 1916 人,人员占比 7.14%。

目前,头部券商的 IT 系统大多是自主研发的,中小券商则是采购于恒生电子、顶点软件、金证股份等公司。前述券商信息技术部人士对财新称,在 A 股这样的市场,证券公司可能更需要一个弹性的系统扩容解决方案,「不可能每天都按照极端行情来配置」,应该根据实时交易压力自动调整计算资源,在需求减少时又能减少资源使用,实现经济与性能之间的平衡。

有观点认为,针对物理服务器的技术瓶颈,云服务提供了计算资源的弹性分配,能根据需求动态分配算力,理论上能缓解系统在峰值时的压力。高盛、摩根士丹利等美国投行早已使用 Google Cloud、Amazon Web Services (AWS) 和 Microsoft Azure 的云服务。

但前述券商信息技术部人士对财新表示,券商处理的是高度敏感的金融数据,包括客户的个人信息、交易数据、账户信息等,上云后一旦泄露或被不当使用,后果不堪设想;「上云也意味着数据和系统的运维控制权部分移交给了第三方,这有很大的隐患。证券行业还是习惯自己搭数据中心,完全由自己掌控,也能够更好地应对合规和监管需求」。

中国证券业协会在《证券公司网络和信息安全三年提升计划 (2023–2025)》征求意见稿中提出,鼓励有条件的公司加快信息系统上云,通过云计算平台承载及运行的信息系统比例不低于 60%,由容器等云平台承载的云原生系统比例不低于 10%。不过,在正式发布的版本中,删除了这些具体要求。

一些头部券商会选择以私有云或混合云的方式部分利用云计算的弹性,同时保留对敏感数据和关键系统的控制权。这种模式下,敏感数据和核心系统仍然在券商的本地数据中心或私有云上运行,而非敏感的部分业务可以迁移到公有云中。