建站
咨詢
售后
建站咨詢
新聞中心
對于云中的流數(shù)據(jù)管道，有許多端到端解決方案可用。更不用說導航不同流處理工具的許多術(shù)語了。
網(wǎng)站建設哪家好，找創(chuàng)新互聯(lián)建站！專注于網(wǎng)頁設計、網(wǎng)站建設、微信開發(fā)、成都小程序開發(fā)、集團企業(yè)網(wǎng)站建設等服務項目。為回饋新老客戶創(chuàng)新互聯(lián)還提供了廣饒免費建站歡迎大家使用！
???
正確的解決方案還將在很大程度上取決于最終用戶及其需求。由于要考慮這么多問題，為你的組織找到合適的框架是一項挑戰(zhàn)。
因此，在本指南中，我們將闡明在為數(shù)據(jù)選擇流處理器時應該考慮什么。
什么是流處理？
流處理器使用戶能夠快速對連續(xù)的數(shù)據(jù)流做出反應。它們還以毫秒為單位檢測各種條件。
任何需要對實時數(shù)據(jù)做出即時反應的應用程序都需要流處理器。例如，一旦達到特定溫度，溫度傳感器就會發(fā)出警報。
因此，流處理通常是實時分析的同義詞。它允許用戶在沒有太多延遲的情況下攝取、處理和分析數(shù)據(jù)。
你可以在此處找到對流處理的更深入介紹。
DIY 與托管流處理器
在選擇合適的流處理器時，你可以自己構(gòu)建應用程序或選擇現(xiàn)有工具。使用現(xiàn)有的流處理架構(gòu)可以節(jié)省你的時間和金錢，并避免基礎架構(gòu)的低效率。
如果你沒有設置類似應用程序的經(jīng)驗，這將特別方便。但是，有許多流處理框架可供選擇。因此，在查看不同的引擎之前，先列出你的框架需要支持的功能。
流處理系統(tǒng)的基本功能包括：
- 使用消息代理進行數(shù)據(jù)攝取
- 使用流式 SQL編寫查詢
- 流處理 API 和查詢編寫環(huán)境
- 高可用性 (HA)、最小 HA 和高可靠性
- 流式機器學習
- 消息處理保證
- 亂序事件
- 大規(guī)模系統(tǒng)性能（框架是否可擴展？能否處理大窗口？）
- 拖放式 GUI 的用戶友好性
首先，列出必備功能。然后，列出你的可選功能。這將指導你為你的數(shù)據(jù)搜索最佳流處理器。
你還需要確定正確的流處理引擎類型。主要有以下三種類型：
1、開源組合引擎
組合流處理引擎依賴于有向無環(huán)圖 (DAG) 的早期定義。這發(fā)生在處理數(shù)據(jù)之前。
雖然這簡化了代碼，但開發(fā)人員必須仔細規(guī)劃他們的框架以避免處理效率低下。
這些引擎被認為是第一代流處理器，管理起來通常很復雜。開源組合引擎的示例包括 Apache Storm、Samza 和 Apex。
2、托管聲明引擎
這些引擎可以鏈接流處理功能。因此，引擎在接收數(shù)據(jù)時計算 DAG，并可以在運行時優(yōu)化 DAG。
這種類型的流處理引擎更易于管理，并帶有一系列托管服務選項。但是，管道的初始設置仍然是一項昂貴的投資。
成本涉及從源到存儲和分析的所有內(nèi)容。Apache Spark 和 Flink 都是具有托管服務的聲明式引擎。
3、完全托管的自助服務引擎
最后，還有完全托管的自助服務引擎。這些是流處理的最新發(fā)展。
該引擎運行 DAG 并提供端到端解決方案，包括直接將數(shù)據(jù)流式傳輸?shù)酱鎯A架構(gòu)中。
完全托管的引擎還會組織數(shù)據(jù)并將其提供給分析框架。
設置、管理和行政
不同的流處理器具有不同的設置、管理和管理要求。這是選擇正確工具之前的另一個重要考慮因素。
為了說明這一點，我們可以比較Amazon Kinesis 與 Kafka。
例如，Apache Kafka 可能需要幾天甚至幾周的時間才能設置完整的生產(chǎn)就緒需求。
過程的長短取決于你的團隊可用的專業(yè)知識。此外，該框架是一個需要自己的開源系統(tǒng)：
- 簇
- 節(jié)點多
- 復制
- 分區(qū)
托管服務的設置速度要快得多。此外，它們可以在數(shù)小時內(nèi)運行，因為提供商將管理基礎設施、存儲、網(wǎng)絡和配置。
換句話說，你可以在短時間內(nèi)獲得流式傳輸數(shù)據(jù)所需的一切。
托管服務還將負責硬件和軟件的持續(xù)維護、供應和部署。
成本和定價模型
與不同流處理器類型相關的定價模型是為你的數(shù)據(jù)選擇流處理器的最終考慮因素。
開源解決方案通常需要大量的技術(shù)資源。你的組織可能負責為基礎設施的設置和管理的 24/7 運營負擔提供資金。
你還需要為專用硬件提供資金。相比之下，完全托管的服務通常提供即用即付的定價模式。你不必為設置投資前期成本。
支付的金額可能取決于吞吐量所需的標準分片數(shù)量。在此模型中，你可以節(jié)省設置基礎設施的時間和金錢費用。
為你的數(shù)據(jù)選擇合適的流處理器
了解流處理及其所有要求可能具有挑戰(zhàn)性。
但是，我們希望本文能幫助你專注于選擇流處理引擎的最重要考慮因素。市場上有許多工具，托管服務通常是最現(xiàn)代、最靈活的解決方案。
【譯稿，合作站點轉(zhuǎn)載請注明原文譯者和出處為.com】
本文名稱：如何為你的數(shù)據(jù)選擇合適的流處理器？
新聞來源：http://m.5511xx.com/article/coosgds.html
