傳統(tǒng)業(yè)務公有云遷移避坑指南

作者：秦鳴 2021-04-28 09:26:25

云計算 目前國內(nèi)很多企業(yè)已經(jīng)在深入的使用公有云了。隨著業(yè)務的發(fā)展，這些企業(yè)大部分會考慮做多云的雙活或災備以及根據(jù)云上產(chǎn)品功能和成本考慮從一家云遷到另一家云。

[[396459]]

本文轉(zhuǎn)載自微信公眾號「新鈦云服」，作者秦鳴。轉(zhuǎn)載本文請聯(lián)系新鈦云服公眾號。

目前國內(nèi)很多企業(yè)已經(jīng)在深入的使用公有云了。隨著業(yè)務的發(fā)展，這些企業(yè)大部分會考慮做多云的雙活或災備以及根據(jù)云上產(chǎn)品功能和成本考慮從一家云遷到另一家云。

我司前幾個月接了一個公有云業(yè)務遷移的項目，在項目中總結(jié)了一些經(jīng)驗，下面是我的總結(jié)，希望能幫助每個運維在遇到類似的問題時能快速解決。

數(shù)據(jù)庫同步問題

數(shù)據(jù)庫同步使用DTS工具來做的，目前主流的公有云都有各家的DTS工具，DTS的工具原理基本都是從源庫binlog讀取數(shù)據(jù)然后插入到目標數(shù)據(jù)庫。但各家的DTS工具容錯性還是相差比較大的。下面我就說說數(shù)據(jù)庫同步碰到的那些坑。

1、數(shù)據(jù)庫中的表字段要允許NULL

在MySQL 同步過程中出現(xiàn) Error 3140: Invalid JSON text: "The document is empty." at position 0 in value for column，

原因是源庫校驗不嚴格。數(shù)據(jù)庫中的字段要求為 NOT NULL，但是數(shù)據(jù)中存在值為 NULL 的數(shù)據(jù)。

有兩個解決方法，根據(jù)需要處理：

(1)對源庫中的數(shù)據(jù)進行修復，將所有值 NULL 的數(shù)據(jù)修正為正確的值 (這也符合業(yè)務邏輯需要)。

(2)對目標庫中的表進行修改，將字段修改為允許為 NULL。例如表為 xxxx，字段為 total

ALTER TABLE `xxxx` CHANGE `total` `total` JSON NULL;

2、數(shù)據(jù)庫源庫binlog要保留時間久一點

在執(zhí)行數(shù)據(jù)庫同步的時候可能會碰到問題而導致需要重新啟動做增量同步，但是有時這個同步是在晚上進行的，早上人為發(fā)現(xiàn)問題可能距離出現(xiàn)問題已經(jīng)過去了好幾個小時。

如果源庫這個時候binlog只保留1～2個小時的話會導致用戶在早上重啟同步任務時找不到對應的binlog文件，從而只能再次做全量同步。建議源庫binlog在同步時保留2～3天以上。

3、目標數(shù)據(jù)庫磁盤空間建議是源庫的2倍

在執(zhí)行數(shù)據(jù)庫同步的時候目標庫除了會有大量的寫入外還會有一些臨時表及日志產(chǎn)生。如果兩個庫的磁盤空間一樣大很容易產(chǎn)生目標庫磁盤空間不足導致寫入失敗的問題。這樣無疑會浪費很多的時間去處理。

所以建議是目標數(shù)據(jù)庫磁盤空間先申請源庫的2倍空間。如果費用相差不大遷完后就不要降了。

4、數(shù)據(jù)庫同步時不能有計劃任務

在同步數(shù)據(jù)庫時DTS突然報出了一個主鍵ID錯誤的日志，同時同步也中斷了。后來經(jīng)過調(diào)研發(fā)現(xiàn)用戶數(shù)據(jù)庫有計劃任務在跑導致的。所以在同步數(shù)據(jù)庫時必須關閉針對數(shù)據(jù)庫的計劃任務。

ES遷移問題

ES遷移本身并沒有什么問題，但是ES不同版本之間是有較大差異的，不仔細測試是發(fā)現(xiàn)不了一些隱藏的問題的。

客戶碰到的ES問題是之前在XX云用的是ES低版本，默認分片為5。切換至XX云用的是ES 7版本，默認分片是1。

正常客戶業(yè)務使用時需要根據(jù)業(yè)務去修改分片數(shù)，來適配業(yè)務。但客戶并沒有這么做導致了生產(chǎn)事故。幫客戶去重建索引調(diào)整分片數(shù)后問題得到了解決。

DNS問題

遷移最后必定會經(jīng)歷域名的切換，域名切換覆蓋全國和全世界時間都是不一定的，且不同的區(qū)域都會有一定的差異。

客戶就碰到了某個項目訪問有問題的情況。我們的做法是，在原公有云入口部署nginx，只要還是訪問到原nginx的都proxy_pass到新的公有云入口。這樣就保證了不會有人訪問到老環(huán)境的情況。

結(jié)論：應用跨云遷移，看似一件非常簡單的事情，實則充滿了很多未知的問題。這些問題可能是公有云產(chǎn)品造成的可能是業(yè)務代碼造成的。

但無論是什么原因，新鈦云服作為一家專業(yè)的云管理服務商都能很好的處理好這些問題，并在遷移過程中為客戶梳理信息，優(yōu)化架構(gòu)和運維流程，為客戶業(yè)務保駕護航。

 

網(wǎng)站欄目：傳統(tǒng)業(yè)務公有云遷移避坑指南
本文來源：http://m.5511xx.com/article/cdhiphe.html