云端分析面臨的關(guān)鍵挑戰(zhàn)及克服方法

譯文
作者：李睿 2021-04-20 08:00:00

云計算 與在內(nèi)部部署設(shè)施進(jìn)行批處理分析的方法相比，將分析業(yè)務(wù)遷移到云平臺需要新的方法、技能和架構(gòu)。像許多其他IT功能一樣，數(shù)據(jù)分析工作也遷移到云中，這既帶來了機(jī)遇，也面臨著挑戰(zhàn)。

【51CTO.com快譯】與在內(nèi)部部署設(shè)施進(jìn)行批處理分析的方法相比，將分析業(yè)務(wù)遷移到云平臺需要新的方法、技能和架構(gòu)。像許多其他IT功能一樣，數(shù)據(jù)分析工作也遷移到云中，這既帶來了機(jī)遇，也面臨著挑戰(zhàn)。

在調(diào)研機(jī)構(gòu)Gartner公司列舉的 2021年十大數(shù)據(jù)和分析技術(shù)趨勢中，使分析功能更易組合的開放的、容器化的分析架構(gòu)就是其中的一個趨勢。該公司表示，這使組織能夠快速創(chuàng)建靈活而智能的應(yīng)用程序，以幫助數(shù)據(jù)分析師將見解與決策聯(lián)系起來。

Gartner公司指出，“隨著組織將數(shù)據(jù)重心轉(zhuǎn)移到云中，可組合數(shù)據(jù)和分析將成為一種更靈活方式，以構(gòu)建由云計算市場以及低代碼和無代碼解決方案提供支持的分析應(yīng)用程序?！?/p>

云計算服務(wù)可以將數(shù)據(jù)分析提高到一個新的水平。創(chuàng)意服務(wù)提供商Loveurope and Partners(LEAP)公司系統(tǒng)和技術(shù)總監(jiān)Aidan Taub表示：“云計算可以為我們提供更高計算負(fù)載所需的可擴(kuò)展性。隨著各行業(yè)組織繼續(xù)實現(xiàn)數(shù)字化，需要以指數(shù)級的規(guī)模構(gòu)建文件數(shù)據(jù)。當(dāng)組織擁有大量的非結(jié)構(gòu)化數(shù)據(jù)(例如LEAP公司所處理的視頻、圖像和音頻)時，永遠(yuǎn)無法知道其工作量有多大，而傳統(tǒng)分析方法無法像云平臺一樣擴(kuò)展規(guī)模?！?/p>

然而，在云中進(jìn)行的分析需要不同的方法、技能、架構(gòu)和經(jīng)濟(jì)性。伴隨著這些變化，勢必需要克服一些障礙。

以下組織可能會面臨的一些挑戰(zhàn)以及當(dāng)向在云中執(zhí)行數(shù)據(jù)分析時能夠解決這些挑戰(zhàn)的方法：

由于未知而害怕失去控制

數(shù)據(jù)分析對于組織來說具有高度的戰(zhàn)略意義，對于習(xí)慣于完全控制數(shù)據(jù)資源的技術(shù)領(lǐng)導(dǎo)者而言，將分析過程遷移到云中的想法可能令人望而生畏。

德勤咨詢公司高級分析支持主管Anthony Abbattista說，“我們看到客戶面臨的主要挑戰(zhàn)之一是組織慣性或?qū)κタ刂频目謶帧！盇bbattist曾與眾多企業(yè)的IT高管合作，并致力于推廣基于云的分析。

Abbattista說：“IT主管和首席信息官的傳統(tǒng)角色是保護(hù)數(shù)據(jù)資產(chǎn)并成為數(shù)據(jù)資產(chǎn)的守護(hù)者?！彼硎?，在某些情況下，云計算技術(shù)對數(shù)據(jù)分析的現(xiàn)狀構(gòu)建了挑戰(zhàn)，因為它可以更快地推向市場。例如產(chǎn)品選擇和評估，點擊配置的數(shù)量有限，無需大量增加資本支出等等。

Abbattista說：“首席數(shù)據(jù)官和首席信息官需要共同努力，以審核和熟悉云平臺，這樣他們可以幫助獲得商業(yè)價值和競爭優(yōu)勢，至少不落后于競爭對手。這可能需要采用市場上可接受的、經(jīng)過驗證的新興模式，而不是從頭開始設(shè)計或重建分析環(huán)境。”

提供保險服務(wù)的非營利機(jī)構(gòu)全球公共機(jī)構(gòu)雇員保險公司(WAEPA)首席信息官Brandon Jones表示，由于現(xiàn)有的分析流程缺乏靈活性，許多組織在探索新的分析能力方面進(jìn)展緩慢。他說：“組織需要嘗試新功能，并推動創(chuàng)新的激勵措施和計劃?！?/p>

為了克服這個問題，WAEPA公司的IT部門使用了一個支持云計算的沙盒環(huán)境來建立一個試錯思維過程，使用關(guān)鍵利益相關(guān)者的關(guān)鍵性能指標(biāo)創(chuàng)建了一個原型優(yōu)先的分析環(huán)境。

進(jìn)行轉(zhuǎn)變

除了克服IT領(lǐng)導(dǎo)者認(rèn)為的失去控制之外，他們還需要應(yīng)對向云平臺的遷移，并確保服務(wù)不會中斷。

Taub說，“這對于許多IT領(lǐng)導(dǎo)者來說，他們最困難的決定就是向云平臺遷移。但是，如果他們選擇正確的解決方案，就不必這樣做?！?/p>

Taub說，將數(shù)據(jù)分析遷移到云端時，IT領(lǐng)導(dǎo)者在很多情況下都是從“提升和轉(zhuǎn)移”的方法開始，將現(xiàn)有的操作移植到云端。他補(bǔ)充道：“這通常意味著重新設(shè)計應(yīng)用程序和系統(tǒng)，而為了進(jìn)入云平臺需要重新構(gòu)建。”

作為2019年對其原有數(shù)據(jù)基礎(chǔ)設(shè)施進(jìn)行全面改革的一部分，LEAP公司使用Qumulo公司的分析平臺將大量非結(jié)構(gòu)化文件數(shù)據(jù)遷移到云中。LEAP公司的文件和數(shù)據(jù)以前分布在各種不同的傳統(tǒng)存儲系統(tǒng)中，而數(shù)據(jù)在工作流的不同位置管理和定位則非常耗費人力。

Taub說，“幸運的是，Qumulo公司幫助我們轉(zhuǎn)移了所有數(shù)據(jù)，而無需為進(jìn)入云平臺重構(gòu)應(yīng)用程序，我建議組織找到一種工具，使在多個環(huán)境中復(fù)制和提取數(shù)據(jù)變得更加簡單?！?/p>

這一轉(zhuǎn)變使該公司能夠優(yōu)化其數(shù)據(jù)分析，并將其性能提高240倍以上。采用谷歌分析軟件，可以查看已連接的客戶端數(shù)量、使用帶寬最多的客戶端，以及數(shù)據(jù)在哪里快速增長。

Taub說：“創(chuàng)造性工作流程的成功很大程度上取決于我們在云中訪問數(shù)據(jù)分析的能力。我們在全球各地?fù)碛杏蓴?shù)百名藝術(shù)家、設(shè)計師和動態(tài)圖形編輯人員組成的團(tuán)隊，因此，我們需要利用云計算服務(wù)來有效安全地協(xié)作開發(fā)創(chuàng)意項目。如果沒有基于云計算的數(shù)據(jù)分析，我們的生產(chǎn)流程將陷入困境?！?/p>

掌握正確的技能

成功的IT工作似乎總是歸功于掌握必要的技能，而將數(shù)據(jù)分析遷移到云平臺也不例外。

Abbattista表示，德勤咨詢公司的調(diào)查表明，組織對技能的需求開始發(fā)生變化。他說：“云計算分析環(huán)境不需要專家來支持傳統(tǒng)分析/商業(yè)智能中技術(shù)堆棧的每個部分，而是需要更多的‘全棧式’思維。為應(yīng)對這一挑戰(zhàn)，支持這些新時代環(huán)境的技術(shù)團(tuán)隊需要了解云平臺上的產(chǎn)品，采用標(biāo)準(zhǔn)模式，然后隨著新技術(shù)、工具和產(chǎn)品的出現(xiàn)而不斷發(fā)展?！?/p>

美國零售商Dollar Tree公司前任首席信息官Josh Jewett表示，選擇在云計算環(huán)境中構(gòu)建自己的分析平臺或依靠云計算供應(yīng)商提供服務(wù)的組織將需要具有特定的專業(yè)知識和技能。

Jewett指出，這些技能包括創(chuàng)建、維護(hù)和從數(shù)據(jù)湖中獲得分析的技能，以及如何最好地利用云原生或第三方人工智能和機(jī)器學(xué)習(xí)能力，并從分析中獲得更多的見解。

在Dollar Tree公司任職期間，Jewett幫助該公司實現(xiàn)了許多系統(tǒng)的現(xiàn)代化，其中包括數(shù)據(jù)分析。他說，“和其他許多零售商一樣，Dollar Tree公司采用了混合策略，部署了軟件即服務(wù)平臺，為關(guān)鍵業(yè)務(wù)功能提供特定的分析功能。例如，這些工具包括用于庫存生產(chǎn)率、價格優(yōu)化、減輕損失預(yù)防，人才獲取，以及績效管理等?！?/p>

該公司還在云計算環(huán)境中開發(fā)了一些分析應(yīng)用程序，以利用云計算的靈活性、可擴(kuò)展性，并加快產(chǎn)品上市的優(yōu)勢。

保護(hù)數(shù)據(jù)安全

無論云計算服務(wù)提供商怎么強(qiáng)調(diào)其云計算基礎(chǔ)設(shè)施的安全性，其客戶都需要始終關(guān)注其數(shù)據(jù)在云中的實際安全性。

對于數(shù)據(jù)分析來說尤其如此，因為從數(shù)據(jù)分析中獲得的見解可以成為一種競爭優(yōu)勢，此外還要關(guān)注不能泄露諸如客戶信息之類的高度敏感的數(shù)據(jù)。

Taub說，“當(dāng)將組織的數(shù)據(jù)從其內(nèi)部部署數(shù)據(jù)中心遷移出去的時候，安全性成為頭等大事。LEAP公司利用了包括自由職業(yè)者在內(nèi)的全球員工網(wǎng)絡(luò)，這意味著我們必須確保數(shù)據(jù)將在內(nèi)部和外部用戶訪問的云平臺中得到保護(hù)?！?/p>

軟件提供商Precisely公司數(shù)據(jù)首席信息官Amy O’Connor表示，最大的安全問題之一是控制對云計算應(yīng)用程序和數(shù)據(jù)的訪問。他說：“人們使用云計算應(yīng)用程序在獲得便捷性的同時也帶來了挑戰(zhàn)，其中許多根源在于人們可能會無意間造成安全、隱私和經(jīng)濟(jì)方面的問題。在云計算帳戶之間進(jìn)行安全切換以及安全地存儲和交換密鑰是一個關(guān)鍵問題。需要圍繞適當(dāng)使用數(shù)據(jù)進(jìn)行強(qiáng)有力的治理。與內(nèi)部部署數(shù)據(jù)中心相比，云中的安全事項更緊急，因為能夠很容易地以未經(jīng)授權(quán)的方式復(fù)制和使用數(shù)據(jù)。”

O’Connor說：“Precisely公司采用混合多云模式，可以利用多個云計算供應(yīng)商提供的服務(wù)來滿足其計算和存儲需求。我們基于云計算的數(shù)據(jù)湖是存儲大量數(shù)據(jù)的地方。如果數(shù)據(jù)起源于云平臺，我們將在云平臺中開始處理。如果具有本質(zhì)上突發(fā)性的分析需求，則可以利用云計算服務(wù)進(jìn)行處理。如果需要快速開始分析處理，則可以從云平臺開始。當(dāng)我們需要處理非結(jié)構(gòu)化數(shù)據(jù)以及使用包括機(jī)器學(xué)習(xí)在內(nèi)的高級分析處理時，我們可以利用基于云計算的數(shù)據(jù)湖?！?/p>

避免云計算成本陷阱

盡管使用云計算服務(wù)可以幫助組織避免諸如內(nèi)部部署存儲系統(tǒng)之類的成本，但其支出可能會很快失控或超出預(yù)期。

Taub說。“預(yù)算始終是一個問題。一刀切的數(shù)據(jù)架構(gòu)可能是IT支出的陷阱。因此在決定將分析遷移到云中時，組織通常會感到更多的壓力，需要支付高昂的前期成本，并受到無法滿足其當(dāng)前需求的長期合同的限制?！?/p>

Taub表示，關(guān)鍵是找到一個不會強(qiáng)制鎖定的云計算提供商。他說：“組織在評估云計算平臺時需要進(jìn)行評估和比較，選擇滿足組織當(dāng)前分析需求的靈活解決方案，并可以根據(jù)需要靈活地擴(kuò)展以滿足組織的未來需求?！?/p>

O’Connor表示，雖然采用云服務(wù)很容易，但也很容易將錯誤的作業(yè)類型轉(zhuǎn)移到云中，并在不再需要使用云計算應(yīng)用程序和資源之后繼續(xù)運行。

他指出，控制云計算成本的兩種最有效方法是控制云帳戶的創(chuàng)建方式，并且對于誰在使用云資源完全透明。

O'Connor說：“為了解決第一個問題，我們將每個提供商的所有云帳戶都遷移到一個主帳戶中，我們還集中了新創(chuàng)建的云帳戶。需要新的云計算資源的個人和團(tuán)隊都要經(jīng)過正式的請求流程，該請求必須包括業(yè)務(wù)理由、部門預(yù)算信息和業(yè)務(wù)所有者等內(nèi)容?！?/p>

O'Connor說：“至于其透明性，只要批準(zhǔn)了請求，中央團(tuán)隊就會在主帳戶下創(chuàng)建任何新的云帳戶。這種治理政策使我們能夠透明地了解云計算提供商開具發(fā)票的費用。每個帳戶都是用請求中提供的信息創(chuàng)建的，然后可以使用云計算提供商的門戶或控制臺來監(jiān)控與每個初始請求匹配的支出?！?/p>

O'Connor表示，將云計算成本應(yīng)用到請求者的預(yù)算中，從而精確地將這些支出信息用于內(nèi)部按存儲容量使用計費模型。IT部門使用這些方法推動云計算成本的問責(zé)制，并確保為正當(dāng)?shù)臉I(yè)務(wù)原因而提供適當(dāng)?shù)念A(yù)算。

標(biāo)題名稱：云端分析面臨的關(guān)鍵挑戰(zhàn)及克服方法
網(wǎng)站網(wǎng)址：http://m.5511xx.com/article/cdppeeg.html