2021年7月20日18点14分,位于郑州大学南校区逸夫楼一层的CERNET郑州核心节点机房因为停电一片漆黑,楼前水位已达100厘米,开始倒灌楼内……郑州节点和赛尔网络有限公司河南分公司的工作人员,看着依然没有停歇迹象的暴雨心急如焚。
他们都明白,河南节点牵一发而动全身,一旦断掉,不但会“阻塞”中国教育和科研计算网CERNET这条国家信息化基础设施的主动脉,更有可能影响当下正在如火如荼进行的高考招生,继而影响社会稳定。所以,河南节点不容有失!
这一晚,注定是一个不眠之夜!
一场罕见的特大暴雨
7月18日开始,河南省多地发生连续降雨。20日更是遭遇“千年一遇”特大暴雨,往常来看,日降雨量达到250毫米已属于大暴雨级别,而这一天的小时降雨量就达到201毫米,打破历史极值。
郑州大学校园内有一条贯穿郑州东西的金水河,但从20日下午开始,整个校园一片汪洋,那条河已经看不见了。16点39分,郑州节点机房由于暴雨冲断主电缆而突然停电,改由学校发电机紧急供电。17点02分,因暴雨郑州大学全校停电,发电机机房也进水,节点机房又改为UPS供电,但仅能应急2个小时左右。此时,郑州大学机房的发电机房水位达30厘米,省网节点门前水位已达70厘米。
电力供应迫在眉睫,网络畅通万分火急。在市政供电恢复之前,如何保证备用发电机的正常使用?如何保证网络的正常运行?郑州核心节点迅速把险情上报CERNET网络中心。
17点刚过,北京。接到郑州节点紧急通报后,刚刚分管CERNET通信运行工作的王继龙教授迅速上报:郑州目前暴雨,水位过高。学校市电由于天气原因已停,紧急启用油机供电,但发电机的机房已经进水,且水位上涨较快,发电机也要马上断电,节点将启用UPS继续供电,预计能支撑2小时,一旦彻底失电,南北互联将仅剩合肥至天津路段,网络将出现拥塞情况。
CERNET网络中心主任吴建平迅速作出指示:迅速制定底线应急方案,确保网络安全通畅!
紧急预案随之迅速启动:一方面部署网络调度,力保教育网的整体通畅;另一方面要求打好CERNET郑州保卫战,在确保人员安全的前提下,全力解决供电问题。
一次艰难的保电行动
“暴雨冲断了学校附近桥梁,金水河倒灌,核心节点机房附近被过膝的洪水围困,交通基本中断,既不能进也不能出;至晚间机房内已经全面断电,现场一片漆黑。”
据赛尔河南分公司总经理李路路介绍,包括她在内的所有工作人员,都在坚守岗位,但只能摸黑排查。更让她揪心的,是发电机的柴油紧缺问题。
在这一场事关网络安全畅通的战役中,电是根本问题。怎么保电成为郑州保卫战的关键。当务之急是找到柴油,保证当天及第二天的使用。但此时整个郑州大水漫漫,交通中断。
“我们不断联系附近的加油站,但全市很多地方停电无法购买柴油。”李路路说。此时发电机房水位距地面60厘米,节点中心门口水位距地面100厘米。水位很高,并开始往楼里灌水。
18点24分,节点向北京汇报抢险进展,根据CERNET网络中心的意见,开始停用优先级靠后的设备,降低负载以使得UPS电源能支撑更久的运行。
在持续寻求购买柴油途径的同时,分公司同事和节点老师们协助学校相关部处人员,利用旧书本、泥土、沙袋等对电源间等重要地点进行挡水,以保护机房重要设备。
19点,有消息证实,学校南校区跨金水河桥被冲断,主电缆在水中漂浮,短时间无法恢复市政供电。此时,节点老师把仅剩的三桶柴油加入油箱,并不断关注着市政供电情况。
“晚些时候,核心节点机房的4G/5G信号完全中断,只能依靠WiFi支持的互联网保持通讯,但由于手机没法充电,也存在着失联的危险。在不断接听各方面问候支持以及电量不断见底的焦虑中,更忧心的则是郑州节点的通断问题。” 郑州核心节点的焦志杰老师说。
对于网络通断状况,CERNET郑州核心节点NOC运行部主任陈刚一直揪着心,他发现有好几段省网路线通信质量有所下降,“在这个关键时刻,我们必须守好CERNET主干大动脉”。
“当日20点,同事们再次前往断桥地点查看,桥面已被水吞没,市政供电短时间显然无法恢复。我们一直在联系是否能协调外部人员送油,但当时整个城市被大水围困,城市交通已基本中断,甚至求助于兄弟分公司帮助发送信息给民间救援组织,也都没有实现。”李路路说。
夜晚,往常灯火通明的机房几乎一片漆黑,黑暗中人们却一点也没放弃。“20日半夜时分,分公司终于联系到有柴油的加油站,几位节点老师和分公司员工非要冒着危险用小推车去取油”赛尔网络公司副总经理金立科提到,“我们经过商量,为了大家的安全,劝阻了他们。但干部员工在危急时刻,所爆发出的不怕苦、不畏险、负责任的力量和对CERNET的热爱都让我很感动。”
21日凌晨3点30分,因燃油耗尽,郑州大学发电机停止运作,郑州核心节点的传输设备由UPS电源供电。4点,郑州核心节点的老师和赛尔通信运行部同事制作接线排,用在CERNET主干网的核心路由器上进行单独供电。
凌晨5点,传输设备由UPS电源供电,负载49A,此时电池电量还剩90%。
5点以后,大雨渐小,大家查看金水河情况,发现水已退回,桥面已刚刚露出,接着又联系电工班。
6点半,传输设备电池供电,负载49A,还剩80%的电量。
7点15分,郑州节点终于联系到一家可以提供柴油的加油站。但此时,所有人员的车子都被水浸泡无法使用。
“关键时刻,郑州节点的李正磊老师让他父亲从家开车过来,帮忙运送柴油。分两次运了6桶后,柴油基本充足了。”陈刚介绍说。
一场保电保卫战落下帷幕。
一场网上高招的应急护航
7月,也是高考招生录取的关键时期。
7月20日前后,高招录取进入到最繁忙、紧张的阶段,大部分省市提前批录取已经结束,本科批正在进行中。
这也是一年一度最受国人关注,事关百万家庭以及诸多学子命运的重要时段。
当考生拿到录取通知书举家欢庆时,很少有人知道,高招录取的平稳有序与一张大网密切相关。
从1999年起,中国教育和科研计算机网CERNET开始支持网上高招录取的试点工作。从2002年起,全国招生录取工作全部由网上完成,而支撑这项工作的网络,就是CERNET。
每年上千万考生的资料信息通过CERNET与各地考试院交换到各高校。迄今为止,这也是世界上规模最大的教育应用之一。
CERNET网络的通畅、安全,直接影响着全国高考网上录取工作的安全与顺利!
在落实保障措施的同时,赛尔各部门也迅速行动起来,主动联系各高校,询问网络保障需求与情况。
这其中,河南省招办是一个重要的节点。
因为当地移动网络瘫痪,无法联系上具体的负责人,王继龙教授希望尽快联系河南省招办,做好针对性保障工作。21号上午,赛尔公司相关负责人紧急联系河南省招办信息处的领导询问网络状况,对方向CERNET和赛尔公司在高招保障方面的重视和保障力度表示了感谢。
不仅仅是郑州,河南全境普降大雨,各种基础设施遭受巨大的破坏。针对河南境内部分高校出现的网络故障情况,CERNET与赛尔公司及时提供高招相关系统域名解析切换服务,确保了网上招生工作的顺利进行。
21日中午尘埃落定,河南省招办与教育部相关部门相继反馈:网上招生未受影响。
一张大网的最后胜利
郑州核心节点对于CERNET而言意味着什么?
据CERNET郑州核心节点主任李占波介绍,郑州节点是CERNET北环与西环汇聚转发的大动脉,也是CERNET流量最繁忙的京汉广线路的关键节点之一。
郑州节点的通断不但影响自身通信,还影响到北环、西环甚至南环相关节点的畅通和运行质量。一旦郑州节点中断,西环、北环、南环的流量都会压到北京-合肥段,不但整个网络将出现拥塞情况,还会对当前正在进行的高招保障造成影响。
因此,郑州核心节点的安全稳定运行非常重要。吴建平院士提出,在重大灾害面前,要以底线思维确保网络畅通,全力确保CERNET这张大网的稳定运行。
CERNET掀起了全网保卫战,在北京到武汉和北京到上海临时开通了两条100G的备份线路,即便河南节点暂时断网也能保障整个教育网的网络通畅。同时使用未来互联网试验设施FITI通信通道作为机动信道,根据实际流量情况对拥堵段落进行临时增加带宽和疏导,确保高招正常进行。
截至21日上午10点,郑州市区供电终于恢复,CERNET郑州核心节点的险情逐渐解除,CERNET全网运行未受影响。
在这次特大暴雨灾害中,CERNET网络中心统一部署,赛尔公司以及核心节点高校的协同作战,打赢了一场惊心动魄的网络保卫战,保证了CERNET郑州核心节点的正常运行,确保了CERNET主干网的安全通畅和高招网络保障的顺利进行。
一位高校的领导说,“没有想到,你们的网没有断!”海南教育厅副厅长、来自河南的陶洪建说:“河南的父老乡亲感谢 CERNET!”