高雄聯合醫院主機搬家大作戰 60臺伺服器56小時無縫轉移



高雄市立聯合醫院IT團隊在2009年耶誕節,面臨到了空前未有的挑戰,他們必須在短短56小時內,將60臺伺服器搬到6.8公里外的院區重新部署,且讓所有系統重新上線。

一個不到10人的資訊團隊,要在短短56小時內,將超過60臺伺服器搬到6.8公里外的院區,且讓系統恢復運作。從機器關機、打包、運送,進駐新機房後重新恢復系統、測試和上線啟用,還得從原先僅300個網路節點的內網規模,擴張到1,200個網路節點,數量增加4倍的複雜網路架構。這任務足以讓人聞風喪膽,但卻是高雄市立聯合醫院資訊室主任王寶棟2009年的耶誕節任務,這也是高雄市立聯合醫院(簡稱聯合醫院)IT部門有史以來最大的考驗。聯合醫院IT得將當時大同院區機房內的伺服器,搬到另一個美術館院區,還得趕在假期結束後的上班時間前,恢復所有系統,醫院才能順利運作。

2009年,高雄市政府拆分高雄市立聯合醫院兩間附屬醫院的經營,大同院區改由高雄醫學大學附設中和紀念醫院經營,而聯合醫院接手美術館院區的經營。所以,聯合醫院也得在當年底前,將原本設置在大同院區機房的醫院HIS系統,都轉移到新院區。

為了不影響醫院營運,聯合醫院只能趁假日休診時搬遷伺服器,也就是只有聖誕節後的週末六日兩個整天,以及禮拜一醫院開始看診前的8小時能搬遷系統,總共只有56小時。

當時,像現在企業搬移伺服器常用的虛擬化vMotion技術還未成熟,機房搬遷對任何IT部門而言都是難題。對聯合醫院而言,這個搬遷計畫最困難的是,為了避免影響搬遷後各項系統的穩定性,得保留所有設備的原有設定,例如不改變系統IP位址的情況下來搬遷。但王寶棟四處打聽不到類似的搬遷經驗案例,最後,只能靠聯合醫院IT團隊自行摸索。這一段跌跌撞撞又如履薄冰的經歷,3年後,他仍記憶猶新。

午夜啟動60臺伺服器搬家工程
時光回溯到2009年耶誕節深夜,在大同院區機房,擠滿了醫院高層、數十位IT廠商人員,還有兩院區的8位資訊人員,人人都屏氣凝神地看著時鐘上的分針,即將指向12點。醫院內各項設備一直到午夜都還需要使用系統內的醫療記錄,因此,他們必須等到午夜12點時,醫療設備完全停止後才能開始動作。

午夜一到,醫院資訊人員立刻關閉系統,指示約40位廠商工作人員分頭拆卸機房內的伺服器,清點打包後迅速搬上預先安排的貨車。為了避免伺服器受到碰撞,駕駛小心翼翼地用時速約10公里的慢速,沿著事先安排的路線,緩緩駛向另一個院區。

搬移動線和行車路線事先縝密規畫
聯合醫院IT人員事先勘查了伺服器搬遷的全部路線,從伺服器搬出機房,經過走廊、下樓、出大樓上車,到運送車輛經過的街道,到美術館院區入口、上樓、進機房,所有搬遷過程和車輛行經的路線,每一道主機經過的轉角、出入門的寬度和高度,甚至是貨車行經的地下道高度,都是事先仔細規畫,避開無法通過或容易發生碰撞的路線,並再三檢查和模擬,甚至因為不放心,搬遷之前他們還全程勘查了一次路線來確認最新的道路狀況。

等到60臺伺服器全數搬上美術館院區樓上機房後,這40位廠商人員立刻爭先恐後地衝進機房,因為每一個人能安裝機器的時間只有2、3小時。王寶棟描述,從機房外,透過機房玻璃窗往內看,機房簡直像是一個「人缸」,就像養滿魚兒的魚缸一樣,機房內塞滿了人。而且他們還彼此爭執不休,因為大家都搶著要先完成自己的工作。後來,王寶棟要求所有人先離開機房,再依序進入機房安裝各自負責的主機。

而在這56小時中,王寶棟和IT團隊完全不能睡,隨時都要解決廠商部署機器時遇到的提問或設定上的選擇,人人必須集中精神決定解決方式,因為這些抉擇都是影響系統最後能否成功上線的關鍵。「不只不能睡,還得在完全神經緊繃的狀態下工作 56小時沒有片刻休息。」王寶棟說,而且他的心裡還有另一個隱憂。

周日的凌晨12點,美術館院區機房的電力終於來了,王寶棟也稍微鬆了一口氣。原來為了這次搬遷,聯合醫院花了6個月時間重新設計美術館院區的辦公室和機房,而伺服器搬遷時,工程還未完全完工。王寶棟幽默地笑著說,電再不來,機器裝好了有什麼用。

然而,對王寶棟來說,最心驚動魄的時刻,卻是周日下午5點的伺服器的開機時刻。

《詳細內文請見iThome電腦報643期(www.ithome.com.tw),天瓏、誠品、何嘉仁、搜主義、敦煌、法雅客、Page one書店均有銷售》

643期其他精采內容:
.封面故事:VMware vSphere 5.5 系統效能與可靠度大躍進
.新聞:一周大事回顧
.新聞:宏碁轉型再造,全面押注自建雲
.新聞:行政院派員調查遠通電收資安事件始末
.新聞:POS木馬重挫美國零售業
.CEO看IT:掌握行銷關鍵,使用者行為比身分更重要
.產品報導:協同作業應用系統:叡揚Vis-a-Vis 愛報告