一次探索机房人员深夜维护施工之旅
时间:2014-09-01 00:00 作者:复禾健康
时间:2014-09-01 00:00 作者:复禾健康
每一天,当川流不息的患者在医院大堂中走动,当电话声响彻医护办公室,这些画面都展示了工作人员在白天工作的惯常场景。然而,有人了解过深夜通宵施工科室的真实情形吗?笔者于日前与佛山市中医院后勤管理科和计算机网络中心有关人员,一起体验了这二个科室联合承担的一次深夜施工场景。为大家揭开那些分秒必争的一帧帧画面。
本次深夜施工,实则是为中医院A、B两个机房更换配电控制器。对笔者来说,基本的供电知识还是懂一点的,这就意味着,两个机房必须停止供电。电力停供,也意味着全院服务器,数据库和网络均要停摆。笔者从两个科的技术工程师的脸上,都强烈感受到严峻的气息。这是一次前所未有的机房维护。特别是计算机中心,他们每年都要做好几次这样的通宵维护。但这次,大大的不同了。必须保证服务器和数据库顺利关闭。电力全停后,在有限的时间里施工维护。电力恢复后,保证所有设备重新启动并正常运转。而现实情况只能允许技术人员在6个小时内完成,不然,等到白天来临,包括笔者在内的全院人员肯定要坐不住了。
笔者越来越意识到本次跟踪体验特别的不容易,也特别的重要。早在前几天已经对相关部门进行贴身询问了,并参加了其中的一次讨论会。会上各处人员反复细化、检查实施方案。精确到每个人在每个时间段的工作。每项工作的成功或失败所对应的应付办法。笔者特别尊重他们折射出来的认真态度。停电前一天,工程师们严阵以待,就为了等待几个小时后开始的一场光速竞赛了。
这场竞赛开始于8月23日零时。地点在两处机房。
真正的竞赛其实从前一天的下班后就开始了。笔者守在工程师办公室,看到他们对数据库进行备份,对可以提早关闭的服务器进行手工停机。接近当天晚上零时,工程师的手脚更麻利了。笔者抓紧时间跑到门诊大楼观看其中一处应急措施的启用,接着又跑到机房看到了一整个施工项目。这样跑进跑出,笔者为你展现这一场赛跑的“读秒”过程:
1、8月22日23:55,计算机工程师到急诊收费处,指导操作员出当天门诊和住院收费报表,启用单机版收费程序,支持实施阶段的急诊收费。
图为工程师协助财务科启用应急系统
2、8月23日00:15,A机房开始停机,存储设备、服务器、网络设备陆续按计划步骤关机。
3、8月23日00:40,A机房,应急照明供电。
4、8月23日00:41,安装配电柜新控制器,安装监控开关设备。5、8月23日01:00,B机房,不间断电源电路板的更换维修
(此处省略施工步骤近万字∙∙∙∙∙)
6、8月23日 05:00,A机房与B机房施工结束,存储设备、服务器、网络设备陆续启动。
7、8月23日05:20,医院HIS系统首先完成测试,恢复正常使用。
图为工程师进行系统恢复测试
7、8月23日05:25,通知急诊收费处前台操作人员恢复正常业务。
8、8月24日05:30--06:30,陆续恢复医院内各类信息系统业务。
9、8月24日 06:50,笔者喜滋滋的登陆微信,进入“佛山市中医院”服务号,微信预约、微信挂号、微信缴费又如常对外提供服务了。
不是整个过程都接近完美的,笔者注意到,期间,也发生了一些意外情况,可喜的是在工程师们全力以赴和紧密合作下都得到了及时有效解决。如:PACS系统数据库服务器启动过程中出现硬件自检报错,无法启动。工程师根据报错信息进行分析,一项项地跟踪排查,定位到一台使用近10年的老存储设备在启动过程中有配置出错。重新设置后服务器重启正常,业务也随之恢复。一些业务的启动顺序有严格的规范要求,但机房通电瞬间,部分设备自动启动,造成开机先后次序有误,某些业务启动不正常。工程师需要逐一排查并手动调整,故障最终得以解除,大家都松了一口气。
到8月23日早上6:50,全院信息系统基本恢复正常,经过多部门单位通力协作,最终圆满完成了这项艰巨的作务!期间,涉及2个计算机房开关电切换、3台UPS、4台精密空调、5台存储设备、8台核心交换机、13台接入层交换机、34个业务信息系统、64台服务器等等关键核心设备与业务系统的运作恢复。每一个简单数字背后都与医院正常运作息息相关。
笔者罗列了这样的数据,展现了这样的画面,连自己也觉得不可思议,可真实情况就是这样的“惊心动魄”。笔者开了眼界,同时觉得这样的场面可以让大家一同读读看看,医院各个业务系统在长年累月的24小时不间断运转和建设的背后,有赖一个团队的合作和配合,也非常感谢全院同事的理解和配合。笔者在这里,先谢谢大家了。(计算机网络中心庞晓颖)
医院动态
健康问答
专家科普
医生答疑