Spark是什麼？用Spark進行數據分析

(來源：36大數據)

1. 什麼是Apache Spark？

Apache Spark是一個為速度和通用目標設計的集群計算平台。

從速度的角度看，Spark從流行的MapReduce模型繼承而來，可以更有效地支持多種類型的計算，如交互式查詢和流處理。速度在大數據集的處理中非常重要，它可以決定用戶可以交互式地處理數據，還是等幾分鐘甚至幾小時。 Spark為速度提供的一個重要特性是其可以在內存中運行計算，即使對基於磁盤的複雜應用，Spark依然比MapReduce更有效。

從通用性來說，Spark可以處理之前需要多個獨立的分佈式系統來處理的任務，這些任務包括批處理應用、交互式算法、交互式查詢和數據流。通過用同一個引擎支持這些任務，Spark使得合併不同的處理類型變得簡單，而合併操作在生產數據分析中頻繁使用。而且，Spark降低了維護不同工具的管理負擔。

Spark被設計的高度易訪問，用Python、Java、Scala和SQL提供簡單的API，而且提供豐富的內建庫。 Spark也與其他大數據工具進行了集成。特別地，Spark可以運行在Hadoop的集群上，可以訪問任何Hadoop的數據源，包括Cassandra。

2. 一個統一的棧

Spark項目包含多個緊密集成的組件。作為其核心，Spark是一個“計算引擎”，負責在多個工作機器之間或一個計算集群上調度、分發和監控由計算任務組成的應用。 Spark核心引擎速度快且具有通用性，它可以驅動針對各種各樣負載的不同組件，例如SQL或機器學習。這些組件可以緊密交互，使得你可以向庫程序一樣在一個軟件項目中組合他們。

緊耦合的方式有諸多好處。第一，所有棧中的庫和高層組件都可以從低層組件的改進中受益。例如，當Spark的核心引擎進行了優化，SQL和機器學習庫會自動加速。第二，運行棧的開銷最小化，因為不需要運行5-10個獨立的軟件系統，只運行一個就夠了。這些運行開銷包括部署、維護、測試、支持和其他操作。這意味著每當Spark棧有新的組件加入，使用Spark的團隊可以立即試用這個新組件。過去嘗試一個新的數據分析軟件需要下載、部署和學習，現在只需要升級Spark即可。

最後，緊耦合方式的一個最大的好處是可以建立應用，這些應用可以不停地合併不同的處理模型。例如，通過Spark可以寫一個應用，根據輸入的數據流使用機器學習來實時的進行分類操作；於此同時，分析員可以通過SQL實時地查詢結果數據。並且，更多的數據工程師和數據科學家可以用Pyhton Shell訪問數據來進行廣告分析。其他人員可能在單獨的批處理應用中訪問數據。自始至終，IT團隊只需要維護一個系統。

這裡我們將簡單介紹Spark的每個組件，見圖1-1

▲圖1-1 Spark棧(來源：36大數據)

3. Spark 核心組件

Spark核心組件包含Spark的基本功能，有任務調度組件、內存管理組件、容錯恢復組件、與存儲系統交互的組件等。 Spark核心組件提供了定義彈性分佈式數據集（resilient distributed datasets，RDDs）的API，這組API是Spark主要的編程抽象。 RDDs表示分佈在多個不同機器節點上，可以被並行處理的數據集合。 Spark核心組件提供許多API來創建和操作這些集合。

Spark SQL

Spark SQL是Spark用來處理結構化數據的包。它使得可以像Hive查詢語言（Hive Query Language, HQL）一樣通過SQL語句來查詢數據，支持多種數據源，包括Hive表、Parquet和JSON。除了為Spark提供一個SQL接口外，Spark SQL允許開發人員將SQL查詢和由RDDs通過Python、Java和Scala支持的數據編程操作混合進一個單一的應用中，進而將SQL與復雜的分析結合。與計算密集型環境緊密集成使得Spark SQL不同於任何其他開源的數據倉庫工具。 Spark SQL在Spark 1.0版本中引入Spark。

Shark是一個較老的由加利福尼亞大學和伯克利大學開發的Spark上的SQL項目，通過修改Hive而運行在Spark上。現在已經被Spark SQL取代，以提供與Spark引擎和API更好的集成。

Spark Streaming

Spark流作為Spark的一個組件，可以處理實時流數據。流數據的例子有生產環境的Web服務器生成的日誌文件，用戶向一個Web服務請求包含狀態更新的消息。 Spark流提供一個和Spark核心RDD API非常匹配的操作數據流的API，使得編程人員可以更容易地了解項目，並且可以在操作內存數據、磁盤數據、實時數據的應用之間快速切換。 Spark流被設計為和Spark核心組件提供相同級別的容錯性，吞吐量和可伸縮性。

MLlib

Spark包含一個叫做MLlib的關於機器學習的庫。 MLlib提供多種類型的機器學習算法，包括分類、回歸、聚類和協同過濾，並支持模型評估和數據導入功能。 MLlib也提供一個低層的機器學習原語，包括一個通用的梯度下降優化算法。所有這些方法都可以應用到一個集群上。

GraphX

GraphX​​是一個操作圖（如社交網絡的好友圖）和執行基於圖的並行計算的庫。與Spark流和Spark SQL類似，GraphX​​擴展了Spark RDD API，允許我們用和每個節點和邊綁定的任意屬性來創建一個有向圖。 GraphX​​也提供了各種各樣的操作圖的操作符，以及關於通用圖算法的一個庫。

Cluster Managers

在底層，Spark可以有效地從一個計算節點擴展到成百上千個節點。為了在最大化靈活性的同時達到這個目標，Spark可以運行在多個集群管理器上，包括Hadoop YARN，Apache Mesos和一個包含在Spark中的叫做獨立調度器的簡易的集群管理器。如果你在一個空的機器群上安裝Spark，獨立調度器提供一個簡單的方式；如果你已經有一個Hadoop YARN或Mesos集群，Spark支持你的應用允許在這些集群管理器上。第七章給出了不同的選擇，以及如何選擇正確的集群管理器。

4. 誰使用Spark？用Spark做什麼？

由於Spark是一個面向集群計算的通用框架，可用於許多不同的應用。在序言中我們指出了這本書的兩種讀者：數據科學家和數據工程師。我們仔細地分析一下這兩種人和他們使用Spark的方式。明顯地，典型的使用案例是不同的，但我們可以將他們粗略地分為兩類，數據科學和數據應用。

當然了，這是一個不精確的分類和使用模式，許多人同時具有著兩種技能，有時扮演數據挖掘科學家的角色，然後又編寫一個數據處理的應用。儘管如此，區分為兩個組以及他們的使用案例仍然是有意義的。數據科學的任務

數據科學，近幾年出現的一門學科，專注於分析數據。儘管沒有一個標準的定義，我們認為一個數據科學家的主要工作是分析和建模數據。數據科學家可能會SQL，統計學，預測模型（機器學習），用Python、MATLAB或R編程。數據科學家能將數據格式化，用於進一步的分析。

數據科學家為了回答一個問題或進行深入研究，會使用相關的技術分析數據。通常，他們的工作包含特殊的分析，所以他們使用交互式shell，以使得他們能在最短的時間內看到查詢結果和代碼片段。 Spark的速度和簡單的API接口很好地符合這個目標，它的內建庫意味著很多算法可以隨時使用。

Spark通過若干組件支持不同的數據科學任務。 Spark shell使得用Python或Scala進行交互式數據分析變得簡單。 Spark SQL也有一個獨立的SQL shell，可以用SQL進行數據分析，也可以在Spark程序中或Spark shell中使用Spark SQL。 MLlib庫支持機器學習和數據分析。而且，支持調用外部的MATLAB或R語言編寫的程序。 Spark使得數據科學家可以用R或Pandas等工具處理包含大量數據的問題。

有時，經過初始的數據處理階段後，數據科學家的工作將被產品化，擴展，加固（容錯性），進而成為一個生產數據處理應用，作為商業應用的一個組件。例如，一個數據科學家的研究成果可能會產生一個產品推薦系統，集成到一個web應用上，用來向用戶生成產品建議。通常由另外的人員（如工程師）對數據科學家的工作進行產品化。

數據處理應用

Spark的另外一個主要的使用可以從工程師的角度進行描述。在這裡，工程師指使用Spark來構建生產數據處理應用的大量的軟件開發者。這些開發者了解軟件工程的概念和原則，如封裝、接口設計和麵向對象編程。他們通常有計算機學科的學位。他們通過自己的軟件工程技能來設計和構建實現某個商業使用場景的軟件系統。

對工程師而言，Spark提供了一個簡單的方式在集群之間並行化這些應用，隱藏了分佈式系統、網絡通信和容錯處理的複雜性。系統使得工程師在實現任務的同時，有充足的權限監控、檢查和調整應用。 API的模塊特性使得重用已有工作和本地測試變得簡單。

Spark用戶使用Spark作為其數據處理應用，因為他提供了豐富的功能，易於學習和使用，而且成熟可靠。

5. Spark歷史簡介

Spark是一個開源項目，由多個不同的開發者社區進行維護。如果你或你的團隊第一次使用Spark，你可能對它的歷史感興趣。 Spark由UC伯克利RAD實驗室（現在是AMP實驗室）在2009年作為一個研究項目創建。實驗室的研究人員之前基於Hadoop MapReduce工作，他們發現MapReduce對於迭代和交互式計算任務效率不高。因此，在開始階段，Spark主要為交互式查詢和迭代算法設計，支持內存存儲和高效的容錯恢復。

在2009年Spark創建不久後，就有關於Spark的學術性文章發表，在一些特定任務中，Spark的速度可以達到MapReduce的10-20倍。

一部分Spark的用戶是UC伯克利的其他組，包括機器學習的研究人員，如Mobile Millennium項目組，該組用Spark來監控和預測舊金山灣區的交通擁堵情況。在一個非常短的時間內，許多外部的機構開始使用Spark，現在，已經有超過50個機構在使用Spark，還有一些機構公佈了他們在Spark Meetups和Spark Summit等Spark社區的使用情況。 Spark主要的貢獻者有Databricks，雅虎和因特爾。

在2011年，AMP實驗室開始開發Spark上的上層組件，如Shark和Spark流。所有這些組件有時被稱為伯克利數據分析棧（Berkeley Data Analytics Stack，BDAS）。

Spark在2010年3月開源，在2014年6月移入Apache軟件基金會，現在是其頂級項目。

6. Spark版本和發布

自從創建以來，Spark是一個非常活躍的項目和社區，每個發布版本的貢獻者都在增長。 Spark 1.0有超過100個貢獻者。儘管活躍等級迅速增長，社區依然以一個固定的規劃發布Spark的更新版本。 Spark 1.0在2014年5月發布。這本書主要基於Spark 1.1.0編寫，但其概念和例子也適用較早的版本。

7. Spark存儲層

Spark可以從存儲在Hadoop分佈式文件系統（HDFS）中的任何文件，或其他Hadoop API支持的存儲系統（如本地文件系統，Amazon S3， Cassandra， Hive，HBase等）創建分佈式數據集。有一點一定要記住，Hadoop對Spark來說不是必須的，Spark可以支持任何實現了Hadoop API的存儲系統。 Spark支持文本文件、序列文件、Avro、Parquet，以及任何其他Hadoop的輸入格式。我們將在第五章介紹Spark與這些數據源的交互。