中小企業(yè)基于云的自動化運維實踐二則

作者：董偉/付海軍 2015-08-04 11:13:42

云計算

自動化 自動化運維的本質(zhì)，個人愚見就是把人解放出來，人騰出來做更有價值的事，事不會少，但產(chǎn)生價值的事要越來越多，其實從某種程度上面來講，對運維人員是一個悲劇，如果運維人員不提升自己的核心競爭力，那就面臨著下崗。當(dāng)然反過來說，運維人員就要在老板面前找到自己的價值。本文分享了兩個關(guān)于運維自動化的案例。

成都創(chuàng)新互聯(lián)是一家集網(wǎng)站建設(shè),瓊山企業(yè)網(wǎng)站建設(shè),瓊山品牌網(wǎng)站建設(shè),網(wǎng)站定制,瓊山網(wǎng)站建設(shè)報價,網(wǎng)絡(luò)營銷,網(wǎng)絡(luò)優(yōu)化,瓊山網(wǎng)站推廣為一體的創(chuàng)新建站企業(yè)，幫助傳統(tǒng)企業(yè)提升企業(yè)形象加強企業(yè)競爭力。可充分滿足這一群體相比中小企業(yè)更為豐富、高端、多元的互聯(lián)網(wǎng)需求。同時我們時刻保持專業(yè)、時尚、前沿，時刻以成就客戶成長自我，堅持不斷學(xué)習(xí)、思考、沉淀、凈化自己，讓我們?yōu)楦嗟钠髽I(yè)打造出實用型網(wǎng)站。

案例1：基于云的運維自動化

我們是小規(guī)模的公司，搭建在 AWS 上的服務(wù)，主要使用 Ruby on Rails，并實現(xiàn)了應(yīng)用的水平擴容。

在專案一開始的時候只有一臺 EC2 就可以跑了，后來因為專案越做越大，開始做平行擴充以及 SOA，因此我們導(dǎo)入了 Chef 做自動化運營，主要使用 Chef 做機器的安裝及部署，使用 Cloud Watch 做機器與 Application 的效能監(jiān)控，在每次 deploy 的時候做AMI，當(dāng)資源負(fù)擔(dān)到達(dá)設(shè)定值時，Chef 會使用***的 AMI 開一臺新的機器加入 ELB，這個過程大約是 5 分鐘，于此我們做到了 Application 面的平行擴展。

數(shù)據(jù)庫的部分，我們使用 PostgreSQL 做集群，一臺 Master + 多臺 Slave 加上 AWS 本身的 muti-AZ 機制，可以動態(tài)加開 slave 以及 load balance;Redis 的部分亦同。

現(xiàn)在我們使用 Jenkins 做 CI，每次跑完 CI 會包一個 Docker 版本來跑 staging 環(huán)境，staging 環(huán)境現(xiàn)在跑 docker，但現(xiàn)在還不敢放到 production 環(huán)境中。

案例2：關(guān)于自動化部署

我從多個方面來描述下我們廣告公司運維自動化的實施情況。

編譯：

我們這邊RTB是用linux下的C++開發(fā)的，部署的過程中需要依賴一些特定版本的linux的運行庫，而編譯本身需要的庫和頭文件會更多，所以我們是將編譯和自動部署分開的，業(yè)務(wù)需求完成編碼和測試后，會將可執(zhí)行文件放在指定的位置，用jenkins來調(diào)用之前調(diào)試好的自動部署腳本來進(jìn)行推送和啟動運行，這樣能保證編譯的程序相關(guān)的功能都是測試通過，且經(jīng)過驗證的，自動化部署之后外圍還有相應(yīng)的監(jiān)控系統(tǒng)會定時掃描端口開放情況以及程序運行情況。

商務(wù)平臺：

這部分是用java開發(fā)的，包管理使用maven，已經(jīng)做好了關(guān)聯(lián)的特定版本的jar包的管理，這部分功能就是開發(fā)測試完畢，將驗證沒有問題的特定版本號的svn地址提交給系統(tǒng)部，通過jenkins從SVN拉代碼，調(diào)用maven進(jìn)行編譯，部署和啟動，相關(guān)功能都是在運行服務(wù)器上執(zhí)行。

數(shù)據(jù)：

數(shù)據(jù)部分采用了redis和tair集群，用于存儲人群屬性和cookie映射數(shù)據(jù)，redis和tair是通過jenkins進(jìn)行部署的，數(shù)據(jù)導(dǎo)入是每天定時跑完畫像數(shù)據(jù)后自動導(dǎo)入的，而數(shù)據(jù)的遷移是通過人工觸發(fā)的，當(dāng)部分節(jié)點數(shù)據(jù)存在問題時，外部有系統(tǒng)監(jiān)控，發(fā)現(xiàn)問題，人工觸發(fā)數(shù)據(jù)遷移。人工觸發(fā)數(shù)據(jù)遷移是一般是在發(fā)現(xiàn)數(shù)據(jù)分布不均衡，特定節(jié)點負(fù)載非常高的情況下，會在后半夜觸發(fā)遷移操作。

流程規(guī)劃：

業(yè)務(wù)相關(guān)的程序開發(fā)之后，默認(rèn)是手動部署的，手動部署時會梳理相關(guān)的流程，形成腳本，后續(xù)jenkins的自動化腳本也是來源于手動部署的腳本。

Auto Scale：

集群是auto scale的，平時會有一個最基本的機器數(shù)量配置，部署相應(yīng)的程序，部署完成后不存在減機器的情況，如果有流量突發(fā)高峰和廣告投放高峰，有一部分備用的機器可以快速部署，然后把流量指到新部署的機器上

規(guī)模：

目前大概用于RTB的機器有40多臺高配的服務(wù)器，每臺服務(wù)器上會有20個左右的進(jìn)程，商務(wù)平臺和展現(xiàn)點擊收集以及計費系統(tǒng)，服務(wù)器有20多臺機器，而后端的日志存儲和人群畫像部分用到的hadoop有50多臺機器。

精彩觀點摘錄

自動化運維的本質(zhì)，個人愚見就是把人解放出來，人騰出來做更有價值的事，事不會少，但產(chǎn)生價值的事要越來越多，其實從某種程度上面來講，對運維人員是一個悲劇，如果運維人員不提升自己的核心競爭力，那就面臨著下崗，在老板心目中，機器能更快更好的做好，為什么需要人來做(慢，不能量化)。當(dāng)然反過來說，運維人員就要在老板面前找到自己的價值。

自動化運維，我更關(guān)注人。

基于公司實際情況，制定完善的流程，把重復(fù)的工作工具化，有挑戰(zhàn)的工作簡單化，相應(yīng)的流程及工具文檔化。總之盡可能不需要人為干預(yù)，即便需要人操作，懂點技術(shù)的員工按流程和文檔即可完成操作。

Q & A

Q1：數(shù)據(jù)集群采用Jenkins部署是否存在不妥，是否違背了編譯和部署分開的原則?

其實數(shù)據(jù)集群用jenkins部署主要是編譯的基礎(chǔ)環(huán)境是一定的，可以在使用jenkins部署之前完成機器系統(tǒng)安裝之后會將相關(guān)的編譯環(huán)境也批量安裝好，所以用jenkins部署是沒有問題的。

Q2：Jenkins在里面用得太重了，不知道會不會導(dǎo)致CI慢或其它問題?

其實不會，因為子系統(tǒng)劃分是將對比較輕的，不會有非常復(fù)雜和耗時的編譯。

新聞標(biāo)題：中小企業(yè)基于云的自動化運維實踐二則
當(dāng)前鏈接：http://m.5511xx.com/article/djidcpi.html