時代已經(jīng)變了，企業(yè)對傳統(tǒng)的數(shù)據(jù)基礎(chǔ)設(shè)施越來越厭煩，這些基礎(chǔ)設(shè)施對關(guān)鍵的商業(yè)智能問題回答得很慢，而且經(jīng)常過時，與當(dāng)前的業(yè)務(wù)現(xiàn)實(shí)不同步，通常是一天或更長時間。

編輯搜圖

現(xiàn)代企業(yè)的需求和要求正在以戲劇性的方式轉(zhuǎn)變。因此，舊的“批處理”模式(每天一次大的更新，查詢速度慢)正在讓位于更細(xì)化、更高頻率的實(shí)時更新(每秒多次更新，查詢速度快)，從而帶來更新鮮的數(shù)據(jù)和更快的洞察力。

除了分析性的洞察力，實(shí)時數(shù)據(jù)基礎(chǔ)設(shè)施正在促成一類新的應(yīng)用，可以在數(shù)據(jù)發(fā)生變化時做出反應(yīng)。這涉及到數(shù)據(jù)堆棧的每一個部分，從數(shù)據(jù)攝取，到業(yè)務(wù)分析，到機(jī)器學(xué)習(xí)和人工智能。

隨著用例的發(fā)展，支持它們的基礎(chǔ)架構(gòu)也在不斷發(fā)展。走向?qū)崟r并不是調(diào)整舊數(shù)據(jù)系統(tǒng)那么簡單，在許多情況下，基礎(chǔ)設(shè)施已經(jīng)從頭開始重寫，以實(shí)現(xiàn)實(shí)時工作負(fù)載。

在現(xiàn)代數(shù)據(jù)棧中，實(shí)時基礎(chǔ)設(shè)施和工具可以采取多種形式：

• 以高頻率和高容量將小數(shù)據(jù)包從A處流向B處(例如：Apache Kafka、Redpanda、Apache Pulsar)。

• 通過流處理工具過濾和轉(zhuǎn)換對流數(shù)據(jù)(例如：Apache Flink、Apache Samza、Decodable)。

• 實(shí)時分析，讓分析師在低延遲的情況下獲得對業(yè)務(wù)查詢的最新反饋(例如：Materialize、ClickHouse、Tinybird)。

• 實(shí)時或在線機(jī)器學(xué)習(xí)模型，不斷適應(yīng)和學(xué)習(xí)數(shù)據(jù)，并實(shí)時生成預(yù)測(例如：Tecton)。

今天，將這些不同的系統(tǒng)組合起來仍然是是一件棘手的事情。但是，進(jìn)行這些投資的組織將獲得豐厚的回報(bào)，主要是實(shí)現(xiàn)傳說中的“實(shí)時企業(yè)”，成為一個能夠感知和應(yīng)對其業(yè)務(wù)中發(fā)生的事件和變化的組織。

對實(shí)時性感興趣但又在尋找靈感？少數(shù)下一代組織已經(jīng)成為早期采用者，并為新加入者開辟了采用路徑。

我最喜歡的一些大規(guī)模實(shí)時數(shù)據(jù)基礎(chǔ)設(shè)施的案例研究包括：

• Netflix：在七年的時間里，Netflix將其流數(shù)據(jù)的使用案例從0增加到2000多個，同時在數(shù)據(jù)攝取、移動、分析和運(yùn)營處理以及機(jī)器學(xué)習(xí)方面建立了實(shí)時能力。今天，Netflix的實(shí)時基礎(chǔ)設(shè)施每天處理數(shù)十萬億次的事件。

• Uber：Uber的實(shí)時基礎(chǔ)設(shè)施每天產(chǎn)生多個PB級的數(shù)據(jù)和數(shù)萬億條信息，這些數(shù)據(jù)持續(xù)不斷從Uber司機(jī)、乘客和其他用戶那里收集而來。Uber的移動應(yīng)用、內(nèi)部儀表盤、機(jī)器學(xué)習(xí)模型和臨時數(shù)據(jù)探索工具都有實(shí)時用例。

現(xiàn)在是實(shí)時的時代，這場革命發(fā)生得比你想象的要快。眨眼間，你可能會錯過它。