數(shù)據(jù)湖是近十年來出現(xiàn)的一個術(shù)語，用于描述大數(shù)據(jù)世界中數(shù)據(jù)分析管道的重要組成部分。這個想法是為組織中的任何人可能需要分析的所有原始數(shù)據(jù)建立一個單一的存儲區(qū)。人們通常使用 Hadoop 來處理湖中的數(shù)據(jù)，但這個概念比 Hadoop 更廣泛。

當(dāng)提到一個單一的點(diǎn)可以將一個組織想要分析的所有數(shù)據(jù)集中在一起時，我立即想到了數(shù)據(jù)倉庫和數(shù)據(jù)集市的概念。但是數(shù)據(jù)湖和數(shù)據(jù)倉庫之間有一個重要的區(qū)別。數(shù)據(jù)湖以數(shù)據(jù)源提供的任何形式存儲原始數(shù)據(jù)。沒有關(guān)于數(shù)據(jù)模式的假設(shè)，每個數(shù)據(jù)源都可以使用它喜歡的任何模式。數(shù)據(jù)的使用者需要根據(jù)自己的目的來理解這些數(shù)據(jù)。

許多數(shù)據(jù)倉庫由于模式問題而沒有取得太大進(jìn)展。數(shù)據(jù)倉庫傾向于采用單一模式的概念來滿足所有分析需求，但單一的統(tǒng)一數(shù)據(jù)模型對于除最小組織之外的任何組織都是不切實(shí)際的。即使要為稍微復(fù)雜的域建模，也需要多個有界上下文，每個都有自己的數(shù)據(jù)模型。在分析方面，需要每個分析用戶使用對他們正在進(jìn)行的分析有意義的模型。通過轉(zhuǎn)向僅存儲原始數(shù)據(jù)，這將責(zé)任推給了數(shù)據(jù)分析師。

【資料圖】

數(shù)據(jù)倉庫的另一個問題是確保數(shù)據(jù)質(zhì)量。試圖獲得權(quán)威的單一數(shù)據(jù)源需要對不同系統(tǒng)如何獲取和使用數(shù)據(jù)進(jìn)行大量分析。系統(tǒng) A 可能適用于某些數(shù)據(jù)，而系統(tǒng) B 可能適用于其他數(shù)據(jù)。這便會遇到一些規(guī)則，系統(tǒng) A 更適合最近的訂單，而系統(tǒng) B 更適合一個月或更早以前的訂單，除非涉及退貨。最重要的是，數(shù)據(jù)質(zhì)量往往是一個主觀問題，不同的分析對數(shù)據(jù)質(zhì)量問題的容忍度不同，甚至對什么是好質(zhì)量的概念也不同。

這導(dǎo)致了對數(shù)據(jù)湖的批判——它只是質(zhì)量參差不齊的數(shù)據(jù)的垃圾場，更確切地說是數(shù)據(jù)沼澤。批評既有道理又無關(guān)緊要。新分析的熱門標(biāo)題是“數(shù)據(jù)科學(xué)家”。盡管這是一個經(jīng)常被濫用的頭銜，但這些人中的許多人確實(shí)擁有扎實(shí)的科學(xué)背景。任何嚴(yán)肅的科學(xué)家都知道數(shù)據(jù)質(zhì)量問題。試想一下隨時間分析溫度讀數(shù)的簡單問題，必須考慮到某些氣象站的重新定位可能會微妙地影響讀數(shù)、設(shè)備問題導(dǎo)致的異常、傳感器不工作時的缺失時段數(shù)據(jù)。許多復(fù)雜的統(tǒng)計技術(shù)都是為了解決數(shù)據(jù)質(zhì)量問題而創(chuàng)建的?？茖W(xué)家總是對數(shù)據(jù)質(zhì)量持懷疑態(tài)度，習(xí)慣于處理有問題的數(shù)據(jù)。所以對他們來說，湖泊很重要，因?yàn)樗麄兛梢允褂迷紨?shù)據(jù)，并且可以慎重地應(yīng)用技術(shù)來理解它，而不是一些可能弊大于利的不透明數(shù)據(jù)清理機(jī)制。

數(shù)據(jù)倉庫通常不僅會清理數(shù)據(jù)，還會將數(shù)據(jù)聚合成一種更易于分析的形式。但科學(xué)家們也傾向于反對這一點(diǎn)，因?yàn)榫酆弦馕吨鴣G棄數(shù)據(jù)。數(shù)據(jù)湖應(yīng)該包含所有數(shù)據(jù)，因?yàn)椴恢廊藗儠l(fā)現(xiàn)什么有價值，無論是今天還是幾年后。

它們正在被一些月末處理報告修改。所以簡而言之，數(shù)據(jù)倉庫中的這些值是無用的；科學(xué)家擔(dān)心無法進(jìn)行這種比較。經(jīng)過更多挖掘，發(fā)現(xiàn)這些報告已被存儲，因此可以提取當(dāng)時所做的真實(shí)預(yù)測。這種原始數(shù)據(jù)的復(fù)雜性意味著有空間將數(shù)據(jù)整理成更易于管理的結(jié)構(gòu)以及減少相當(dāng)大的數(shù)據(jù)量。不應(yīng)該直接訪問數(shù)據(jù)湖。因?yàn)閿?shù)據(jù)是原始數(shù)據(jù)，所以需要很多技巧才能理解它。在數(shù)據(jù)湖中工作的人相對較少，因?yàn)樗麄儼l(fā)現(xiàn)了湖中通常有用的數(shù)據(jù)視圖，他們可以創(chuàng)建許多數(shù)據(jù)集市，每個數(shù)據(jù)集市都有一個針對單個有界上下文的特定模型。然后，更多的下游用戶可以將這些集市視為該上下文的權(quán)威來源。

現(xiàn)在，很多時候我們已經(jīng)將數(shù)據(jù)湖視為跨企業(yè)集成數(shù)據(jù)的單一點(diǎn)，但應(yīng)該指出，這并不是它最初的意圖。這個詞是 James Dixon 在 2010 年創(chuàng)造的，當(dāng)時他打算將數(shù)據(jù)湖用于單個數(shù)據(jù)源，多個數(shù)據(jù)源將形成一個“水上花園”。盡管有最初的表述，但現(xiàn)在普遍的用法是將數(shù)據(jù)湖視為整合了許多來源。

我們應(yīng)該將數(shù)據(jù)湖用于分析目的，而不是用于業(yè)務(wù)系統(tǒng)之間的協(xié)作。當(dāng)業(yè)務(wù)系統(tǒng)協(xié)作時，它們應(yīng)該通過為此目的設(shè)計的服務(wù)來實(shí)現(xiàn)，例如 RESTful HTTP 調(diào)用或異步消息傳遞。

重要的是，所有放入湖中的數(shù)據(jù)都應(yīng)該有明確的時間和地點(diǎn)來源。每個數(shù)據(jù)項(xiàng)都應(yīng)該清楚地跟蹤它來自哪個系統(tǒng)以及何時生成數(shù)據(jù)。因此，數(shù)據(jù)湖包含歷史記錄。這可能來自將業(yè)務(wù)系統(tǒng)事件饋送到湖中，也可能來自定期將當(dāng)前狀態(tài)轉(zhuǎn)儲到湖中的系統(tǒng)——當(dāng)源系統(tǒng)沒有任何時間能力但想要對其數(shù)據(jù)進(jìn)行時間分析時，這種方法很有價值。

數(shù)據(jù)湖是無模式的，由源系統(tǒng)決定使用什么模式，并由消費(fèi)者決定如何處理由此產(chǎn)生的混亂。此外，源系統(tǒng)可以隨意更改其流入數(shù)據(jù)模式，而消費(fèi)者也必須應(yīng)對。顯然，我們更希望此類更改的破壞性盡可能小，但科學(xué)家更喜歡全面的數(shù)據(jù)而不是缺失數(shù)據(jù)。

數(shù)據(jù)湖將變得非常大，并且大部分存儲都圍繞著大型無模式結(jié)構(gòu)的概念——這就是為什么 Hadoop 和 HDFS 通常是人們用于數(shù)據(jù)湖的技術(shù)。數(shù)據(jù)湖中集市的一項(xiàng)重要任務(wù)是減少需要處理的數(shù)據(jù)量，這樣大數(shù)據(jù)分析就不必處理大量數(shù)據(jù)。

數(shù)據(jù)湖對大量原始數(shù)據(jù)的存儲引發(fā)了有關(guān)隱私和安全的尷尬問題。數(shù)據(jù)湖對黑客來說是一個誘人的目標(biāo)，他們可能喜歡把選擇的數(shù)據(jù)塊吸進(jìn)公共海洋。限制小型數(shù)據(jù)科學(xué)組織直接訪問數(shù)據(jù)湖可能會減少這種威脅，但無法避免該組織如何對其獲取的數(shù)據(jù)的隱私負(fù)責(zé)的問題。

關(guān)鍵詞： 數(shù)據(jù)倉庫 原始數(shù)據(jù) 數(shù)據(jù)集市