文獻來源：[1] Mohamed A , Najafabadi M K , Wah Y B ,et al.The state of the art and taxonomy of big data analytics: view from new big data framework[J].Artificial Intelligence Review: An International Science and Engineering Journal, 2020(2):53.
下載鏈接：https://pan.baidu.com/s/1WOU6JctBhv93MslHMA-WyQ? ?提取碼：1ck4

????????本文不僅提供了主要大數據技術的全球視圖，還提供了三類流行的大數據工具，即批處理、流處理和混合處理工具。在批處理中，隨著時間的推移收集一組數據或一批信息，然后將其輸入分析系統進行處理。在大數據流計算下，處理是實時完成的，數據被逐塊輸入分析工具。批處理是先存儲后計算的模型，其里程碑是Google在2003年開發的MapReduce框架;流處理是直通計算的模型，其里程碑是在2010年開發的Yahoo。?但大數據批量計算無法支持大數據流計算。流處理的特點是:(1)大容量是指連續數據的到達量超出了單個機器的能力;(2)在多階段計算過程中，輸入數據流產生輸出流時，延時較低。第三代大數據工具被稱為混合處理，由于其批處理和流處理的能力，它可能是有利的。

一、從五個“V”理解大數據的定義

????????

????????大數據的五大方面:（1）多樣性是指數據類型和來源的不同形式，如活動事件的文本信息;關于道路上的車輛交通和計劃中的活動(例如，音樂活動、體育賽事)的交通數據集。(2) Velocity表示數據輸入和輸出的速度。它指的是數據的動態性、數據生成的頻率以及實時生成結果的必要性。(3)大數據量關注的是達到兆字節或千兆字節、太字節甚至拍字節級別的數據集的大小。(4)真實性(Veracity)是指在數據來源可靠的情況下，數據可以被信任的程度。例如，當從傳感器接收數據時，某些設備可能會受到損害。(5)價值對應于組織從處理大數據中可以獲得的潛在見解，指的是潛在價值大或價值密度極低。

二、基于大數據生活的各個方面的分類方法

三、大數據計算的工具即批處理工具、流處理工具和混合處理工具。

????????大多數批處理數據分析平臺都是基于Apache Hadoop的，如Dryad和Mahout。流數據分析平臺的例子是Storm和S4用于實時應用程序。混合處理工具利用批處理和流處理的優勢來計算大量數據。

（一）批處理

????????批處理模型，并將數據湖的文件轉換為準備用于分析用例的批處理視圖。它負責調度和執行批處理迭代算法，如排序、搜索、索引或更復雜的算法，如PageRank、貝葉斯分類或遺傳算法。批處理主要由MapReduce編程模型表示。它的缺點體現在兩個方面。一方面，在處理大量批處理數據時，通常需要將多個作業鏈接起來，以便將更復雜的處理作為單個作業執行。另一方面，Map到Reduce階段的中間結果物理地存儲在硬盤中，完全降低了Velocity(就響應時間而言)。

·Hadoop/MapReduce

????????Apache Hadoop是批處理框架的一個眾所周知的例子，它支持在商用硬件集群上分布式存儲和處理大型數據集。它是一個基于java的開源框架，被Facebook、Yahoo!Twitter存儲和處理大數據工作負載。實際上，Hadoop由兩個組件組成:(1)Hadoop分布式文件系統(HDFS)，其中數據存儲在集群的節點之間是分布式的;(2) Hadoop MapReduce引擎，它將數據處理分配到它所在的節點。

????????Hadoop是MapReduce編程模型的開源實現，用于處理大型數據集，這些數據集可以結構化為數據庫，也可以非結構化為文件系統，通過在由一個主節點和多個工作節點組成的節點集群上使用并行和分布式算法。主節點接受輸入，將輸入分成更小的子問題，并將這些子問題分發給工作節點。工作節點可以依次執行此過程，從而形成多級樹結構。在處理完較小的子問題后，工作節點將答案傳遞回主節點。然后，主節點收集所有子問題的答案，并將這些答案以某種方式組合起來，以形成問題的答案輸出主節點最初試圖解決(Elkano等人2017;Kranjc et al . 2017)。Hadoop也是Apache Mahout2的基礎框架，它有機器學習算法來支持降維、推薦挖掘、頻繁項集挖掘、分類和聚類。Mahout的第一個版本實現了構建在Hadoop框架上的算法，但最近的Mahout版本包括了在Spark上運行的新實現，例如Spark-item相似性的實現使新一代的共現推薦能夠使用用戶點擊流和上下文來進行推薦。然而，Hadoop為大數據應用提供了認證、負載均衡、高可用性、靈活訪問、可擴展性、可調復制、容錯和安全性，包括金融分析、機器學習、自然語言處理、遺傳算法、模擬和信號處理等。由于Hadoop中某些組件缺乏可擴展性等問題，導致出現了帶有Yet Another Resource Negotiator (YARN)的Hadoop第二版。YARN是一個資源管理框架，它在MapReduce中拆分了作業跟蹤器和任務跟蹤器的職責，從而可以在共享公共集群資源管理的同時并行運行多個應用程序。新引擎中的Hadoop集群可以擴展到更大的配置，并同時支持迭代處理、流處理、圖形處理和一般集群計算。Hadoop執行的MapReduce總體方案概述如圖4所示。在第一步中，輸入數據被分割成片段，片段由map函數以(key, value)格式讀取。map的輸出被劃分為不同的片段(圖4中的p-x-x)。Shuffle步驟重新分配map函數產生的片段，使所有屬于同一行為(key)的數據都位于同一節點上。然后，將reduce步驟用作組合器并在map輸出上運行。相應的reducer對它們的輸入進行處理，合并生成最終結果，并將結果發送到HDFS。

（二）流處理

????????并行處理大量數據對Hadoop來說不是問題。它是一種通用的劃分機制，用于在不同的機器上分配累積的工作負載。此外，Hadoop是為批處理而設計的。Hadoop是一個多用途引擎，但由于其延遲，它不是一個實時和高性能的引擎。在一些流數據應用中，如日志文件處理、機器對機器、傳感工業和遠程信息處理需要實時響應來處理大量流數據。因此，有必要對流處理進行實時分析。流數據需要實時分析，因為大數據具有高速、大容量和復雜的數據類型。在涉及實時處理的應用中，Map/Reduce框架在時間維度和高速度方面存在挑戰。

????????流處理平臺如Storm、S4、Splunk和Apache Kafka已經被開發為第二代數據流處理平臺，用于實時分析數據(Wang and Belhassena 2017;Ferranti et al . 2017)。實時處理是指連續的數據處理高度需要極低的響應延遲。這是由于在處理的時間維度上累積的數據量很小。

????????一般來說，大數據可能是在分散的環境中收集和存儲的，而不是在一個數據中心。通常，在Map/Reduce框架中，Reduce階段只在Map階段之后才開始工作。因此，Map階段生成的所有中間數據都保存在磁盤中，然后提交給reducer進行下一階段的處理。這些都對處理造成了很大的阻礙。Hadoop的高延遲特性使得它幾乎不可能進行實時分析。

????????Storm3是實時分析中最受認可的數據流處理程序之一，它專注于可靠的消息處理。Storm是一個免費的開源分布式流處理環境，用于開發和運行處理持續數據流的分布式程序。因此，可以說Storm是一個開源的、通用的、分布式的、可擴展的、部分容錯的平臺，可以可靠地處理無界的數據流進行實時處理。開發Storm的一個優點是，它允許開發人員專注于使用穩定的分布式進程，同時將分布式/并行處理的復雜性和技術挑戰(如構建復雜的恢復機制)委托給框架。

????????首先，Nimbus在Storm中分發代碼來執行并行處理，將任務委托給Supervisor，并處理錯誤。其次，Supervisor執行初始化工作流程的角色，以處理為處理多方面事件而創建的拓撲。

????????拓撲節點分為Spout和Bolt兩類，如圖6所示，Spout充當事件接收器，從多個來源收集流數據或事件，并將數據傳遞給多個Bolt。然后，螺栓執行單元邏輯事件處理器的角色，例如過濾、收集和連接事件處理網絡上的事件流。最后，Zookeeper作為分布式應用程序的協調服務，負責同步節點，作為分布式協調器協調系統，并將Nimbus和supervisor的所有情況記錄在本地磁盤上。它支持一個針對錯誤的復蘇裝置，以確保框架是容錯的。Storm的主要抽象結構是拓撲結構。它是描述每個消息經過的處理節點的頂層抽象。拓撲表示為一個圖，其中節點是處理組件，而邊表示在它們之間發送的消息。拓撲節點分為噴孔節點和螺栓節點。噴出節點是拓撲的入口點，也是要處理的初始消息的來源。

????????Bolt節點是實際的處理單元，它接收傳入的文本，對其進行處理，并將其傳遞到拓撲中的下一個階段。拓撲中一個節點的幾個實例可以允許實際的并行處理。

（三）混合處理

????????混合處理使得第三代大數據平臺成為可能，因為這是大數據應用的許多領域所必需的。該范例綜合了基于Lambda架構的批處理和流處理范例。Lambda架構是一種數據處理架構，旨在通過利用批處理和流處理方法來處理大量數據。這種范式的高級體系結構包含三個層。批處理層管理存儲在分布式系統中不可更改的主數據集。服務層加載并公開數據存儲中批處理層的視圖以供查詢，而速度層只處理低延遲的新數據。最后，將批處理視圖與實時視圖相結合，合并完整的結果。

四、大數據分析技術的分類框架

????????大數據分析中使用的技術廣泛分為以下六類:機器學習/數據挖掘技術、云計算、語義網絡分析/web挖掘、可視化技術、數學和統計技術以及優化技術。

（一）機器學習/數據挖掘技術(深度學習/人工神經網絡)

????????數據挖掘和機器學習技術是一組人工智能技術，一旦設計的算法從經驗數據中學習行為，就可以從數據中提取隱藏的知識和有價值的信息(模式)。算法包括支持向量機、聚類分析、分類、關聯規則學習和回歸。

????????傳統的數據挖掘技術在分析數據時效率高，但在處理大數據時效率和可擴展性不高，因此需要基于大數據架構的新技術來管理和分析大數據。數據速率快速增長，因此k-means、模糊c-means、分層聚類、分層聚類、CLARANS、平衡迭代約簡和聚類等大型應用應擴展到數據聚類的未來使用，使其能夠應對巨大的工作負載;否則，這些算法將不再適用于未來(Najafabadi et al . 2017a, b;Wang and Belhassena 2017;Wang等人2017a, b).并行編程模型，如Hadoop和Map/Reduce可以擴展數據挖掘和機器學習技術，用于挖掘和并行處理大數據集。例如，人工神經網絡(artificial neural network, ANN)作為圖像分析、自適應控制、模式識別等的基礎算法，在大數據的學習過程中存在時間和內存消耗的問題。神經網絡需要更多的隱藏層和節點來獲得更高的性能。

????????然而，由于人工神經網絡學習過程的復雜性，它的性能會比大數據差，并且會造成額外的時間消耗。因此，人工神經網絡在并行和分布式設置下得到了改進，以減少內存和時間消耗(Fonseca and Cabral 2017;Rahman et al. 2016)。深度學習技術是利用人工神經網絡從復雜數據集中提取信息和從數據中發現相關性的常用技術之一。它通過學習多個層次的表示和抽象來理解不同類型的數據，如圖像、文本和聲音。深度學習在模式識別、文本挖掘、圖像分析、自適應控制、基因組醫學等大數據應用中發揮了重要作用。大多數大數據分析技術都是基于深度學習方法，利用分類優化、統計估計和控制理論來解決大數據分析問題。

????????神經網絡在學習大規模數據集的過程中，由于需要更多的隱藏層和節點來產生更高的準確率，因此需要更大的內存。人們普遍認為，大數據的神經處理導致了非常大的網絡。事實上，這個過程中的主要挑戰之一是記憶限制和訓練時間，這越來越棘手。此外，傳統的訓練算法也表現不佳。因此，可以采用一些采樣方法來減少數據的大小，并以并行和分布式的方式擴展神經網絡。深度學習在新類型的推薦中也顯示出其效率，例如將項目映射到聯合潛在空間的跨領域推薦系統，以及社會信任集成學習模型(Iqbal et al. 2017;Najafabadi等2017a, b;Najafabadi and Mahrin 2016)。

????????因此，為了挖掘大規模數據，有必要重新設計MapReduce框架上的機器學習和數據挖掘算法。Mahout和Spark MLlib是兩個開源項目，它們解決可伸縮性問題，并支持許多算法，包括回歸、分類、協同過濾、聚類和降維。因為它們提供了一個分布式環境，在這個環境中算法可以處理大型數據集。

（二）云計算技術

????????云計算正在成為高效數據處理的關鍵資源，它已成為最近計算信息時代的主要轉變，它承諾為大規模和復雜的企業應用程序提供合理和動態的計算架構。它是一種重要的革命性模型，提供面向服務的計算，并從客戶機或用戶抽象出配備軟件的硬件基礎設施。云計算在大數據應用中的主要目標是挖掘大量的數據，并為未來的行動提取有用的信息或知識。云計算是一種用于大數據分析的并行分布式計算系統。云計算服務確認用戶對信息共享的請求，然后根據數據做出最佳決策，并將信息無冗余地傳遞給其他用戶。云計算的概念主要流行于三個方面:(1)軟件即服務(SaaS)，(2)平臺即服務(PaaS)和(3)基礎設施即服務(IaaS)。簡而言之，SaaS為用戶提供對應用程序的不間斷訪問。PaaS幫助用戶開發、運行和管理應用程序。IaaS為用戶提供訪問可配置計算資源池的權限，如網絡、存儲和服務器。云提供商擁有并運營云服務。為單個組織運行的云服務稱為私有云，為公共使用運行的云服務稱為公共云。隨著大數據和云計算時代的到來，世界各地廣泛部署了大量的數據中心，全球數據中心的電力需求迅速增長。2013年，數據中心能耗占全球總能耗的0.5%。據估計，到2020年，數據中心的能耗將會增加(將占到1%)。這種巨大的能源消耗不僅增加了其運行成本，而且對環境產生了負面影響。最理想的方法之一是利用可再生能源來減少溫室氣體排放并攤銷數據中心的能源成本。

（三）語義網絡分析/Web挖掘

????????語義網絡分析涉及Web挖掘、自然語言處理(NLP)和文本分析等領域。語義網絡分析是一種用于從大型網絡存儲庫中確定模式的技術。語義網絡分析揭示了網站上未識別的知識，用戶可以使用它來進行數據分析。該技術有助于評估特定網站的有效性。為了解決NLP中復雜的任務，特別是與語義分析相關的任務，我們需要語言的形式表示，即語義語言。NLP是一種計算機程序理解人類語言的能力。NLP是一門科學學科讓機器可以使用自然語言。NLP承擔了從文檔中提取關系、識別文檔中的句子邊界、搜索和檢索文檔等任務。NLP是通過在非結構化文本中建立結構以進行進一步分析來促進文本分析的方法。文本分析是指從文本源中挖掘有用的信息。它是一個總括性術語，描述了從使用元信息(如文本中提到的人物和地點)注釋文本源到關于文檔的各種模型(例如，文本聚類、情感分析和分類)的任務。在自然語言處理研究中，處理海量文本數據已成為一個重要課題。由于大多數數字信息以新聞文章或網頁等非結構化數據的形式存在，跨文檔共同引用解析、事件檢測或計算文本相似度等NLP任務經常需要在規定的時間框架內處理數百萬個文檔。

????????語義網絡分析有助于從網絡內容中挖掘有用信息。網站內容包括音頻、視頻、文本和圖像。萬維網上許多不斷擴展的信息源(如超文本文檔)的異構性和缺乏結構使得Internet和萬維網的自動發現、組織、搜索和索引工具(例如，Alta Vista、Lycos、WebCrawler和Meta Crawler)對用戶來說很舒服。然而，這些工具既沒有提供結構化信息，也沒有對文檔進行分類、過濾或解釋。

因此，這促使研究人員開發更智能的信息檢索工具(例如，智能網絡代理)，并擴展數據庫和數據挖掘技術，以提供組織網絡上可用的半結構化數據的方法。基于代理的語義網絡分析方法涉及開發復雜的人工智能系統，該系統可以代表特定用戶自主或半自主地識別和組織web/網絡信息。

????????一些web挖掘技術通過圖論來檢測網站的節點和連接結構。例如，從網站內的超鏈接中提取模式和分析樹狀結構來描述XML或HTML標記。

（四）可視化技術

????????可視化技術被用來理解數據，并通過創建表格、圖像和圖表來解釋它們。例如，Facebook正在使用一種可視化技術，通過直觀的顯示方式來操縱和組織其數據庫中的數據。由于數據本身的復雜性，大數據可視化并不像傳統的小數據可視化那樣容易。傳統可視化技術的擴展主要集中在大規模數據上，通過特征提取和幾何建模在呈現實際數據之前減小數據的大小，使數據具有意義。為了更接近和直觀地解釋數據，許多研究人員采用并行方式進行批模型軟件渲染，以獲得最高的數據分辨率。在處理大數據時，數據表示和選擇合適的數據表示是非常重要的。科學家們已經意識到，計算機的圖形化潛力和利用大數據的可視化策略將成為數據分析師最大的資源。正如Wang等人所述，數據可視化方面的創新表明，一個好的用戶界面價值1000 pb。

（五）統計學

????????統計學是在大數據研究中出現的基于特定基礎數學來收集、組織和分析數據的數學技術的集合。從技術的角度來看，通過利用目標之間的相互關系和因果關系以及樣本的數值描述的推導，支持數據管理和分析階段的決策。然而，傳統的統計技術往往不能很好地適應海量數據的管理，并行統計、統計學習和統計計算等新方法應運而生。特別是統計技術的規模化和并行實現，可以提高處理海量數據的能力。例如，沃爾瑪商店通過使用與機器學習相關的統計技術，利用交易數據中的模式，來支持其涉及廣告活動和定價策略的決策。Batarseh和Latif(2016)提出了統計回歸模型，該模型與數據集的大小和用于估計相對于輸入變量單調的函數的過程數量呈線性關系。

（六）優化技術

????????在生物學、物理學、經濟學和工程學等多學科領域，優化技術已成為解決定量問題的有效技術。不同的計算策略，如粒子群優化、遺傳算法、調度算法、蜂群、進化規劃、量子退火和模擬退火，由于其定量實現的性質和它們表現出的并行性，可以有效地解決全局優化問題。然而，它們具有較高的內存成本和時間消耗，并且需要在實時環境下通過協作式協同進化算法進行擴展，以處理大數據應用。這些計算策略還與優化問題中的數據約簡和并行性相結合。該領域的另一個熱門話題是實時優化，其能力已經在智能交通系統和無線傳感器網絡等許多大數據應用中的決策問題中得到了證明。

五、大數據工具的優缺點對比。