建站
咨詢
售后
建站咨詢
新聞中心
本文是WOT2016互聯(lián)網(wǎng)運(yùn)維與開發(fā)者大會的現(xiàn)場干貨， 新一屆主題為WOT2016企業(yè)安全技術(shù)峰會將在2016年6月24日-25日于北京珠三角JW萬豪酒店隆重召開！
網(wǎng)站建設(shè)哪家好，找創(chuàng)新互聯(lián)！專注于網(wǎng)頁設(shè)計(jì)、網(wǎng)站建設(shè)、微信開發(fā)、小程序設(shè)計(jì)、集團(tuán)企業(yè)網(wǎng)站建設(shè)等服務(wù)項(xiàng)目。為回饋新老客戶創(chuàng)新互聯(lián)還提供了蠡縣免費(fèi)建站歡迎大家使用！
崔燦的演講主要圍繞為什么是對象存儲系統(tǒng)、百度開放云做了什么事、百度開放云云服務(wù)化的工作及挑戰(zhàn)以及云服務(wù)的未來等內(nèi)容展開。
什么是對象存儲系統(tǒng)
什么是對象？對象是現(xiàn)實(shí)中實(shí)際存在的實(shí)體，有名字、數(shù)據(jù)和屬性。一般來說，一個(gè)對象生成之后就會永遠(yuǎn)存在，不再作修改。在實(shí)際的系統(tǒng)中，一個(gè)MP3，一個(gè)視頻文件，一個(gè)日志文件一般都可以認(rèn)為是對象，而對象存儲系統(tǒng)的重要使用場景也是在這類數(shù)據(jù)的存儲和訪問，比如說在線音樂視頻播放，日志存儲和處理等。
什么是存儲系統(tǒng)？存儲系統(tǒng)有可靠性、可用性、性能和價(jià)格四方面要求。這里崔燦主要介紹了存儲系統(tǒng)可靠性，一般存儲系統(tǒng)可靠性就是指數(shù)據(jù)不丟失。數(shù)據(jù)丟失產(chǎn)生的情況無非是磁盤壞掉、整個(gè)機(jī)器掛掉或整個(gè)機(jī)房直接掛掉等硬件故障。系統(tǒng)可靠性的決定因素有故障的容忍度和修復(fù)時(shí)間兩方面，對故障容忍度可以通過做一些冗余的方式來實(shí)現(xiàn)。修復(fù)時(shí)間各個(gè)系統(tǒng)實(shí)現(xiàn)不一樣。針對硬件故障，崔燦表示這么多年來，像交換機(jī)故障，磁盤故障，已經(jīng)趨于穩(wěn)定沒有太大進(jìn)步的空間，是相對比較固定值。所以做系統(tǒng)就是怎么樣提高它對故障的容忍度和減少修復(fù)時(shí)間。
如何減少修復(fù)時(shí)間？一，和最開始這個(gè)數(shù)據(jù)放置是相關(guān)的，如磁盤故障或者是機(jī)器故障，如是兩塊磁盤互為備份，那修復(fù)時(shí)間取決于磁盤IO，就是一個(gè)磁盤量的數(shù)據(jù)全部拷到另一個(gè)磁盤，取決于單盤IO。如把它作一個(gè)分散放到所有的節(jié)點(diǎn)上去，好處在于恢復(fù)時(shí)可以從多個(gè)源到多個(gè)目的的磁盤上拷貝，這可以大大的減少修復(fù)的時(shí)間，相當(dāng)于整個(gè)集群同時(shí)在拷貝一個(gè)磁盤上的數(shù)據(jù)。二，基于百度內(nèi)部多年經(jīng)驗(yàn)，磁盤出現(xiàn)故障時(shí)間可根據(jù)大數(shù)據(jù)分析提前預(yù)測到，這也大大縮短了修復(fù)時(shí)間。
百度開放云做了什么事
把KV存儲開放出去
百度內(nèi)部的KV存儲系統(tǒng)，采用3副本，能容忍單機(jī)故障，而且通過分布式修復(fù)以及磁盤故障預(yù)測，能大幅減少修復(fù)時(shí)間。百度開放云存儲把KV存儲開放出去，做一個(gè)對象存儲，這過程叫做商業(yè)化。崔燦表示，這個(gè)過程中遇到了兩大挑戰(zhàn)：從用戶角度來看，一是用戶量增加，導(dǎo)致對用戶的幫助會降低，另外一方面直接面對大眾，可能會遭到惡意攻擊。從業(yè)務(wù)上來看，一方面是網(wǎng)絡(luò)環(huán)境發(fā)生變化，從內(nèi)網(wǎng)到公網(wǎng)。另外一方面對外部業(yè)務(wù)的增長并不可預(yù)期。
安全性、易用性和性能三角度應(yīng)對挑戰(zhàn)
安全性。百度開放云存儲把KV存儲開放出去后，從數(shù)據(jù)和服務(wù)安全兩個(gè)角度做了改進(jìn)。數(shù)據(jù)安全有三個(gè)層次，數(shù)據(jù)不丟(基于可靠存儲，多region, 多az來實(shí)現(xiàn))，數(shù)據(jù)不被非法訪問(基于ak, sk的用戶認(rèn)證以及基于policy的權(quán)限認(rèn)證)，高級安全特性(Https，服務(wù)端加密等)。服務(wù)安全包括三個(gè)方面，用戶間互相影響(通過頻度 & quota服務(wù))，惡意攻擊(通過百度私有防攻擊系統(tǒng)以及運(yùn)營商黑洞清洗來解決)，機(jī)房地域故障(多region, 多az來解決)。
易用性。通過對用戶上云(網(wǎng)絡(luò)、硬盤導(dǎo)入)，用戶使用（API、SDK、工具、ts支持、多種解決方案）及運(yùn)維（按需使用、自動擴(kuò)縮容、報(bào)表、日志、審計(jì)、監(jiān)控……）三個(gè)方面來提升用戶的使用體驗(yàn)。
性能。主要對Http的性能作優(yōu)化，通過多并發(fā)的上傳下載，流量調(diào)度，CDN集成等多個(gè)方面來提升Http性能。
提供冷存儲、媒體云和數(shù)據(jù)分析三大解決方案
崔燦表示，百度云存儲從2015年四五月份一直到現(xiàn)在提供不同的解決方案，幫助不同的用戶來使用。第一個(gè)階段是內(nèi)部服務(wù)，第二個(gè)階段是一個(gè)可靠存儲，第三個(gè)階段整合百度內(nèi)部資源，如圖象處理、機(jī)器學(xué)習(xí)、視頻處理等東西，整合一些解決方案給用戶使用。
冷存儲。為把低成本存儲同時(shí)提供給內(nèi)部業(yè)務(wù)和外部開發(fā)者，百度云存儲做了冷備的解決方案。提供一個(gè)基本可用的，成本比之前低一倍，但可靠性不會低于之前可靠性的存儲系統(tǒng)，就是和友商同等價(jià)格的情況下提供基本的在線服務(wù)。
媒體云。關(guān)于圖片和媒體處理，做視頻直播、點(diǎn)播、轉(zhuǎn)播可直接使用。因?yàn)榘俣葍?nèi)部有成熟的方案，如做像手機(jī)屏幕的匹配、適配直接包裝，用戶只需要把數(shù)據(jù)存儲過來，再調(diào)到其他地方就可直接播放，來減少對媒體用戶使用的門檻。
數(shù)據(jù)分析。崔燦表示，百度是做搜索的，很多策略方面如機(jī)器學(xué)習(xí)，Mapreduce等都是非常成熟。所以可以針對用戶把百度內(nèi)部的機(jī)器學(xué)習(xí)，計(jì)算功能給整合進(jìn)來。如用戶做數(shù)據(jù)處理或策略方面的事，只需要把數(shù)據(jù)上傳上來直接做數(shù)據(jù)處理。
百度開放云未來要做的事
崔燦表示，未來解決方案和存儲相關(guān)有四方面：一，繼續(xù)做冷備或一些歸檔等事。 二，做百度CDN資源結(jié)合，形成類似于存儲分發(fā)，供給一些APP下載或者視頻播放的服務(wù)使用。三，百度內(nèi)部有相對多年媒體方面的資源積累，之后也會不斷的把百度內(nèi)部的技術(shù)包裝陸續(xù)公開出來。四，對于機(jī)器學(xué)習(xí)方面，會繼續(xù)不斷的把百度內(nèi)部的資源爆發(fā)出來。
【演講視頻】
http://edu./lesson/id-100746.html
http://edu./lesson/id-101079.html
【講師簡介】
崔燦，百度開放云資深工程師，主要做百度開放云存儲工作，內(nèi)容有對象存儲、塊存儲和開放云CDN等。之前主要經(jīng)歷主要是分布式存儲和在線檢索兩部分。
分享標(biāo)題：百度對象存儲系統(tǒng)的架構(gòu)與演進(jìn)之路
分享網(wǎng)址：http://m.5511xx.com/article/cdjpisc.html
