作者 tjm 2014.01.26
信望愛網站近年來慢慢走向自建雲端系統,但是目前主要還是依靠高雄總機房的設備發布內容出去,因此整個站主要的瓶頸還是在高雄機房。為了維持系統的穩定可靠,我們早期是每兩年更換一次硬體,近年因為裝了機櫃冷氣,所以變成每三年更換一次硬體,這次就是滿了三年,要換掉整套伺服器硬體了。
每到要換硬體,我們就會思考整個架構是否可以被修改得更穩固。上一次開始使用虛擬機器,並且引進iSCSI磁碟陣列來當主要的儲存系統。這樣的系統的確讓我們平穩的過了三年,以至於技術組會議的結束禱告,常常感謝上帝讓我們機器穩定到系統人員沒事做。但理性分析這個系統,事實上那台iSCSI陣列就是整個系統的瓶頸。如果那台二十幾萬的機器壞了,整個信望愛站就完了。而且三年前的iSCSI只有1G頻寬的網路,整個系統就被這個網路速度拖慢了。
因此這次我們就引進最新的分散式儲存系統 gluster,打破一台iSCSI陣列是否穩定就可以決定信望愛站命運的瓶頸。另外,最近電費漲價,也希望能夠降低整個系統運作的電費。
以往,我們總是習慣採用便宜的主機、主機板,靠技術同工自己挑「俗又大碗」(台語:指「本益比高」)的配置。因此每台機器價格都在台幣三萬元以內。這次我們打算把機器和儲存系統整合,因此就大手筆買了兩台SuperMicro X9SRH-7TF主機板,配合Intel XEON E5-1650 V2 CPU,Intel 10G網路卡,使用 Dell H710P 1GB/NV 磁碟陣列卡,用 SuperMicro CSE743TQ-R760B 機箱。然後把用3T硬碟裝滿機器,用Raid 6配置,裝了64G RAM(每台大約台幣二十萬元)。每一台除了負擔儲存功能外,也負荷虛擬機器的運作。
經過測試,這種強悍的機器一台就能夠負擔信望愛站所有運算需求(以前的機器要兩台才能跑),而且的確能夠雙備援。更棒的是以前我們必須三台主機和一台iSCSI之間拉了一大堆線互相連接,現在只要輕鬆的兩台主機對接,每台機器再拉線到對外網路即可,機櫃看起來更簡潔了。
這樣的系統,照我們的規劃至少要跑個三年以上才會更換,初期我們還要調整一些系統配置,讓系統效能與穩定度更高。未來如果還說什麼是瓶頸,那就是「機房」是瓶頸。無奈台灣的WAN太貴,短時間內無法排除這個瓶頸(這要靠國家政策正視網路速度與價格,及中華電信hinet進步),希望未來也可以順利移除這個瓶頸,讓整個系統更穩定。