建站
咨詢
售后
建站咨詢
新聞中心
拷貝數(shù)據(jù)
創(chuàng)新互聯(lián)是專業(yè)的錫山網(wǎng)站建設公司，錫山接單;提供成都網(wǎng)站設計、網(wǎng)站制作,網(wǎng)頁設計,網(wǎng)站設計,建網(wǎng)站,PHP網(wǎng)站建設等專業(yè)做網(wǎng)站服務;采用PHP框架,可快速的進行錫山網(wǎng)站開發(fā)網(wǎng)頁制作和功能擴展;專業(yè)做搜索引擎喜愛的網(wǎng)站,專業(yè)的做網(wǎng)站團隊,希望更多企業(yè)前來合作!
遠程拷貝數(shù)據(jù)的時候，我們一般使用rsync命令，但是如果拷貝大量的小文件，會導致rsync的傳輸速度慢。使用tar pv lz4打包壓縮傳輸，可以解決這問題，使用這個方法，等同于使用scp、rsync傳輸大文件。
實測，使用rsync傳輸1200G，單個文件大小為幾十KB~2GB,千兆網(wǎng)卡，需要同時跑6個rsync才能把帶寬跑滿，每個速度20MB左右，速度波動大。每分鐘可以拷貝4.5GB左右。
但是，使用tar pv lz4，跑一個就可以了，而且速度波動小。每分鐘可以拷貝6.8GB左右。
rsync使用例子
rsync安裝：yum install -y rsync
# 推送
[root@vm5 ~]# rsync -auvzP -e "ssh -p22" mssh.tar.gz root@192.168.176.11:/data/
sending incremental file list
mssh.tar.gz
1,977 100% 0.00kB/s 0:00:00 (xfr#1, to-chk=0/1)
sent 2,069 bytes received 35 bytes 4,208.00 bytes/sec
total size is 1,977 speedup is 0.94
# 拉取
[root@vm5 ~]# rm -f mssh.tar.gz
[root@vm5 ~]# rsync -auvzP -e "ssh -p22" root@192.168.176.11:/data/mssh.tar.gz .
receiving incremental file list
mssh.tar.gz
1,977 100% 1.89MB/s 0:00:00 (xfr#1, to-chk=0/1)
sent 43 bytes received 2,069 bytes 4,224.00 bytes/sec
total size is 1,977 speedup is 0.94參數(shù)auvzP解釋：參數(shù)a是歸檔傳輸，保留文件屬性，u是更新傳輸，源文件修改時間較新，則傳輸。v是顯示詳細過程，z是壓縮傳輸，P是斷點傳輸。
注意：rsync 傳輸文件夾時候，folder/ 帶/則是傳輸目錄下的文件，不帶/是把文件夾也傳輸過去。
使用壓縮傳輸
安裝pv、lz4工具
注意：服務器兩端都要安裝。
pv在yum源里面沒有，可以到pv官網(wǎng)找
# 去pv官網(wǎng)，搞到個rpm包鏈接，直接rpm命令安裝 [root@vm5 ~]# rpm -ivh http://www.ivarch.com/programs/rpms/pv-1.6.6-1.x86_64.rpm 獲取http://www.ivarch.com/programs/rpms/pv-1.6.6-1.x86_64.rpm 警告：/var/tmp/rpm-tmp.mFbA6u: 頭V3 DSA/SHA1 Signature, 密鑰 ID 3fc56f51: NOKEY 準備中... ################################# [100%] 正在升級/安裝... 1:pv-1.6.6-1 ################################# [100%] # lz4 可以直接yum安裝 [root@vm5 ~]# yum install -y lz4
使用
[root@vm5 ~]# time tar -c go |pv |lz4 -B4 |ssh -p22 -c aes128-ctr 192.168.176.11 "lz4 -d |tar -xC /data/" using blocks of size 64 KB 18.1MiB 0:00:00 [49.5MiB/s] [ <=> ] real 0m0.376s user 0m0.080s sys 0m0.108s # 對比rsync [root@vm5 ~]# time rsync -auvzP -e "ssh -p22" go 192.168.176.11:/data/ ...... sent 11,741,677 bytes received 10,451 bytes 7,834,752.00 bytes/sec total size is 18,502,481 speedup is 1.57 real 0m1.130s user 0m0.797s sys 0m0.160s [root@vm5 ~]#
本篇文章到此結(jié)束，如果您有相關(guān)技術(shù)方面疑問可以聯(lián)系我們技術(shù)人員遠程解決，感謝大家支持本站！
成都網(wǎng)站營銷推廣找創(chuàng)新互聯(lián)，全國分站站群網(wǎng)站搭建更好做SEO營銷。
創(chuàng)新互聯(lián)（www.cdcxhl.com）四川成都IDC基礎(chǔ)服務商，價格厚道。提供成都服務器托管租用、綿陽服務器租用托管、重慶服務器托管租用、貴陽服務器機房服務器托管租用。
網(wǎng)站欄目：linux下如何實現(xiàn)快速拷貝大文件
瀏覽路徑：http://m.5511xx.com/article/coeiddh.html
