如何克服大規(guī)模應(yīng)用程序的性能挑戰(zhàn)？

譯文
作者：布加迪編譯 2018-10-25 09:00:14
云計(jì)算 大規(guī)模(Web-scale)應(yīng)用程序需要高性能和大規(guī)模可擴(kuò)展性，以出色的用戶體驗(yàn)支持大量用戶。它們必須按需擴(kuò)展，為快速壯大的用戶群提供服務(wù)，同時(shí)提供出色的性能、靈活性和彈性。

【51CTO.com快譯】大規(guī)模(Web-scale)應(yīng)用程序需要高性能和大規(guī)?？蓴U(kuò)展性，以出色的用戶體驗(yàn)支持大量用戶。它們必須按需擴(kuò)展，為快速壯大的用戶群提供服務(wù)，同時(shí)提供出色的性能、靈活性和彈性。大規(guī)模應(yīng)用程序日益應(yīng)用于金融服務(wù)、醫(yī)療保健、在線商業(yè)服務(wù)、媒體、電信及其他行業(yè);在這些行業(yè)，系統(tǒng)用戶的數(shù)量不斷增長(zhǎng)，它們的要求也在不斷變化。

開(kāi)發(fā)大規(guī)模應(yīng)用程序的一個(gè)挑戰(zhàn)是依賴(lài)基于磁盤(pán)的傳統(tǒng)數(shù)據(jù)庫(kù)。這些數(shù)據(jù)庫(kù)在規(guī)模環(huán)境上帶來(lái)了不可接受的延遲。此外，將數(shù)據(jù)從操作型數(shù)據(jù)庫(kù)轉(zhuǎn)移到分析型數(shù)據(jù)庫(kù)的提取、轉(zhuǎn)換和加載(ETL)過(guò)程意味著數(shù)據(jù)在分析之前是陳舊的。如今要消除基于磁盤(pán)的數(shù)據(jù)庫(kù)引起的延遲，最簡(jiǎn)單、***效和***成本效益的策略就是部署內(nèi)存計(jì)算(IMC)平臺(tái)。

內(nèi)存計(jì)算簡(jiǎn)述

內(nèi)存計(jì)算基于跨分布式計(jì)算集群的大規(guī)模并行處理，共享集群中的所有可用內(nèi)存和CPU能力。集群可以使用商用服務(wù)器來(lái)構(gòu)建，并通過(guò)添加新節(jié)點(diǎn)進(jìn)行擴(kuò)展。添加新節(jié)點(diǎn)后，系統(tǒng)會(huì)自動(dòng)重新平衡數(shù)據(jù)在節(jié)點(diǎn)之間的分布，提供極高的可擴(kuò)展性和數(shù)據(jù)冗余。

與直接在基于磁盤(pán)的數(shù)據(jù)庫(kù)上構(gòu)建的應(yīng)用程序相比，IMC平臺(tái)的處理速度可提高1000倍或更多。一些IMC平臺(tái)支持ANSI-99 SQL和ACID事務(wù)，因而更容易將IMC平臺(tái)整合到現(xiàn)有的大規(guī)模應(yīng)用程序中，并且讓內(nèi)存計(jì)算平臺(tái)充當(dāng)應(yīng)用程序的記錄系統(tǒng)。

IMC平臺(tái)的速度和可擴(kuò)展性能夠?qū)崿F(xiàn)事務(wù)/分析混合處理(HTAP)(即操作/分析混合處理(HOAP)或集事務(wù)和分析性能于一體的處理)。HTAP能夠在不影響系統(tǒng)性能的情況下，對(duì)大規(guī)模的操作數(shù)據(jù)集進(jìn)行分析?；趦?nèi)存計(jì)算平臺(tái)等HTAP解決方案的大規(guī)模應(yīng)用程序讓公司可以實(shí)時(shí)了解用戶行為，并實(shí)時(shí)響應(yīng)不斷變化的行為帶來(lái)的任何機(jī)會(huì)或威脅。

IMC平臺(tái)的主要功能和特性，包括如下：

充當(dāng)現(xiàn)有應(yīng)用程序的內(nèi)存數(shù)據(jù)網(wǎng)格

針對(duì)現(xiàn)有的應(yīng)用程序，IMC平臺(tái)用作在應(yīng)用程序?qū)雍蛿?shù)據(jù)層之間插入的內(nèi)存數(shù)據(jù)網(wǎng)格(IMDG)，無(wú)需丟棄和更換底層數(shù)據(jù)庫(kù)。底層RDBMS、NoSQL或Hadoop數(shù)據(jù)庫(kù)中的數(shù)據(jù)加載到IMC集群的內(nèi)存中。集群節(jié)點(diǎn)上放在一起的大規(guī)模并行處理極大地提升了性能。如果IMDG支持SQL，與數(shù)據(jù)網(wǎng)格之間的聯(lián)系就像使用標(biāo)準(zhǔn)SQL命令來(lái)操作和分析數(shù)據(jù)一樣容易。

充當(dāng)新應(yīng)用程序的內(nèi)存數(shù)據(jù)庫(kù)

針對(duì)新的或重新設(shè)計(jì)架構(gòu)的應(yīng)用程序，一些IMC平臺(tái)可以充當(dāng)獨(dú)立的內(nèi)存SQL數(shù)據(jù)庫(kù)(IMDB)。為了保護(hù)內(nèi)存中的數(shù)據(jù)在重啟或斷電期間不會(huì)丟失，一種經(jīng)濟(jì)高效的策略是使用“持久存儲(chǔ)”。這在下面會(huì)有討論。

持久存儲(chǔ)

可以將“持久存儲(chǔ)”功能添加到部署在普通磁盤(pán)、固態(tài)磁盤(pán)(SSD)、閃存、3D XPoint或其他存儲(chǔ)級(jí)內(nèi)存技術(shù)上的分布式ACID事務(wù)和與ANSI-99 SQL兼容的磁盤(pán)存儲(chǔ)系統(tǒng)。

如果是IMDB，持久存儲(chǔ)在重啟或斷電時(shí)可保留數(shù)據(jù)，讓?xiě)?yīng)用程序可以訪問(wèn)保存在整個(gè)集群內(nèi)存中的更大數(shù)據(jù)集。如果是IMDG，持久存儲(chǔ)讓企業(yè)可以將完全操作的數(shù)據(jù)集保留在磁盤(pán)上，而將數(shù)據(jù)集的一小部分保留在內(nèi)存中，以此兼顧基礎(chǔ)設(shè)施成本和應(yīng)用程序性能。持久存儲(chǔ)的一個(gè)重要好處是，它在服務(wù)器重啟后可以讓用戶立即處理數(shù)據(jù)，無(wú)需等待所有數(shù)據(jù)重新加載到內(nèi)存中。

機(jī)器學(xué)習(xí)

一些IMC平臺(tái)現(xiàn)擁有集成的、完全分布式的機(jī)器學(xué)習(xí)和深度學(xué)習(xí)庫(kù)，這些庫(kù)已針對(duì)大規(guī)模并行處理進(jìn)行了優(yōu)化。這讓每種機(jī)器學(xué)習(xí)或深度學(xué)習(xí)算法能夠針對(duì)駐留在IMC集群每個(gè)節(jié)點(diǎn)上的內(nèi)存中的數(shù)據(jù)進(jìn)行本地運(yùn)行，因而可以持續(xù)更新機(jī)器學(xué)習(xí)或深度學(xué)習(xí)模型，而不影響性能，即便在PB級(jí)規(guī)模下也是如此。

與其他應(yīng)用程序集成

IMC必須作為整個(gè)架構(gòu)堆棧的一部分來(lái)運(yùn)行，并與其他有用的解決方案輕松集成。比如，下列開(kāi)源解決方案都能無(wú)縫集成：Apache Ignite內(nèi)存計(jì)算平臺(tái)、Apache Kafka流處理平臺(tái)、Apache Spark分布式通用集群計(jì)算框架以及Kubernetes開(kāi)源容器編排系統(tǒng)。

開(kāi)源

所有上述解決方案都是開(kāi)源這不足為奇。開(kāi)源解決方案對(duì)于已啟動(dòng)數(shù)字化轉(zhuǎn)型和全渠道客戶互動(dòng)計(jì)劃的企業(yè)至關(guān)重要，并使開(kāi)發(fā)大規(guī)模應(yīng)用程序?qū)τ诖蟠笮⌒〉钠髽I(yè)來(lái)說(shuō)變得切實(shí)可行。開(kāi)源提供了一種可靠又成熟的策略，可用于開(kāi)發(fā)應(yīng)用程序，前期投入低得多。它讓企業(yè)更牢牢地掌控自己的命運(yùn)，因?yàn)榇蠖鄶?shù)開(kāi)源項(xiàng)目基于標(biāo)準(zhǔn)的方法緩解了供應(yīng)商鎖定現(xiàn)象。另外，開(kāi)源項(xiàng)目帶來(lái)出色創(chuàng)新的速度比傳統(tǒng)的專(zhuān)有供應(yīng)商模式快得多。

大規(guī)模應(yīng)用程序若要帶來(lái)預(yù)期的好處，企業(yè)須獲得大規(guī)模環(huán)境下的實(shí)時(shí)應(yīng)用程序性能。 IMC為實(shí)現(xiàn)這個(gè)目標(biāo)提供了唯一切實(shí)可行的、經(jīng)濟(jì)高效的途徑，這在Gartner的預(yù)測(cè)中有所體現(xiàn)。

Gartner預(yù)測(cè)，到2019年，75%的云原生應(yīng)用程序開(kāi)發(fā)將使用內(nèi)存計(jì)算或使用IMC的服務(wù)，讓主流開(kāi)發(fā)人員能夠?qū)崿F(xiàn)高性能、大規(guī)模可擴(kuò)展的應(yīng)用程序。架構(gòu)師、開(kāi)發(fā)人員和***技術(shù)官了解了大規(guī)模架構(gòu)對(duì)數(shù)據(jù)中心未來(lái)而言的重要性，才會(huì)立即開(kāi)始研究?jī)?nèi)存計(jì)算解決方案具有的功能、靈活性和可擴(kuò)展性。

本文標(biāo)題：如何克服大規(guī)模應(yīng)用程序的性能挑戰(zhàn)？
標(biāo)題URL：http://m.5511xx.com/article/djpjhdo.html