大數據時代的破壞性創新

著名的經濟學家約瑟夫·熊彼德說，“創新,究其本質，意味著邁出一大步，做出重大變革…實際上，創新之前最佳的“做事方式”在創新之後就不再是最佳方式了。”

 

熊彼德的話反映出大數據的潛能，它可以創造性地破壞現有的商業模式。每一天每一分鐘，海量的數據在全世界氾濫，而且速度有增無減。據估計，僅2012一年就產生了2.5澤字節（ZB）的數據，而且歷史趨勢表明商業數據量每年都會顯著增加（見圖1）。

每天會產生2.5*1018字節的數據，世界數據總量的90%是在過去兩年產生的。

· 2020年產生的數據量將是2009年的44倍。

· 預計全球商業數據量每1.2年就翻一倍。

· 沃爾瑪每小時處理100萬筆客戶交易，儲存在其數據庫中的數據超過2.5拍字節（PB）。

· 大量的數據流讓IT基礎設施不堪重負。在近期的一次調查中，55%的管理人員說大量的數據減慢了IT系統的運行速度。

· 不良的數據管理將耗費企業高達35%的營業收入。

 

大數據必將起到變革作用。由於計算資源已經有了發展進步，可以處理更多更複雜的數據，因此企業能夠從大數據及其分析中獲得更多利益（見圖2）。毫無疑問，大數據現在是公司董事會和IT部門專注的議題，許多領先公司已經不僅是紙上談兵了。最近科爾尼進行的IT創新研究顯示, 45%以上的公司在過去兩年中已經採取了商業智能或者大數據相關的舉措。進一步的研究顯示, 90%以上的全球500強企業在一年之內會開展至少一個大數據項目。如果能有效地利用這股浪潮，企業便可以大幅增加收入和利潤(參見圖3)。建設這方面的能力不僅有助於改善傳統行業和部門的績效，還可以創造機會提供更多的產品和服務。

在一些行業中，比如金融服務行業，大數據創造了全新的商業模式。比方說，目前的算法交易通過分析每分鐘大量的市場數據，幾乎可以在瞬間發現盈利機會並獲取價值——這種過程在10年前聞所未聞。在零售業，利用大數據可以加速門店購買行為的分析過程，甚至幾乎可以做到實時分析。通過這種方法，可以迅速發現消費者需求的變化，使得商店可以據此調整商品、存貨水平以及價格，實現銷售量的最大化。

 

在不同行業，還可以利用大數據產生大型數據集，並配備強大的數據處理能力，從而刺激企業增長，並發現節省成本的機會。儘管每個行業的做法不同，而且從營銷到供應鏈，各行業所側重的環節也不同，但是幾乎所有行業都致力於採用分析學和大數據進行轉型(見圖4)。同樣，政府也在進行這樣的轉型：大數據和分析學可以用來改善大眾服務、優化稅款的利用，並且利用先進的武器裝備提高國防能力，比如無人駕駛汽車和飛機。

然而幾乎沒有公司能夠完全了解大數據的概念以及它對未來的意義。採取大數據相關舉措的公司也尚在探索階段——目的只是為了試水而不是培養關鍵能力。我們認為公司不應該錯過大數據帶來的機會，但是我們也認為只有那些了解大數據將如何變革組織、能力和行業，並對此有一個明確願景的公司，才能得到最大的回報。

 

最難的是知道從哪裡著手。在採用大數據進行變革之前需要回答四個問題：

l 大數據及其分析將對公司的哪些領域有利？

l 我們如何才能抓住大數據及其分析帶來的好處？

l 需要投資什麼技術才能發揮數據分析的能力？

l 如何開始應用大數據？

大數據及其分析將對公司的哪些方面有利？

 

了解大數據能促進產生哪方面的競爭優勢，對於實現其價值至關重要。對於許多公司來說，從大數據中得出的洞察成果已經使客戶關係、產品創新和運營這三個領域出現了盈利和可持續性的增長。

 

客戶關係

大數據將客戶置於公司戰略的中心位置。許多公司氾濫著海量的客戶數據，它們來自於交互式網站、網絡社區以及政府和第三方數據庫。像Facebook這樣的社交媒體平台上承載的信息尤其有用，該平台的用戶每天分享近300億條內容。同時，目前大數據可以將社交媒體資訊與不同的信息源關聯起來，包括天氣數據、文化活動以及諸如客戶聯繫方式等內部數據。此外，先進的分析工具也可以讓信息處理過程更快速、更有效並且成本更低，而且發掘迅速獲得新洞察的潛力。

 

產品創新

並不是所有的大數據都是新數據。過去幾年中產生的大量的信息都沒有得到利用——至少沒有得到有效利用。舉一個例子：ZestCash為低收入借貸者提供貸款，當他開始用手機錄音的方式來監測信貸風險時，公司的利潤提高了20%。

 

不論是從各種信息源蒐集整理數據還是線下蒐集信息，應用大數據的新機會不斷在全球湧現。美國的Acxiom對5億消費者設有1500個數據採集點，從他們的公共數據、調查問捲和每年50萬億的數據交換中採集數據。這一趨勢也帶來了一些負面的影響——使那些專門提供數據蒐集服務的公司面臨威脅：那些曾經的私有數據——比如房地產數據——如今可以從公共和私人信息源中蒐集到。

 

最後，可以想像大數據為試驗帶來的潛在發展空間——為了解決一個商業問題或者假設，利用大量數據集進行建模、整合、分析，並且確定方法的可行性，然後優化流程並重新試驗。 Facebook每天進行上萬次的試驗, 即讓一組用戶看到與其他用戶所見不同的特徵。亞馬遜為不同顧客提供不同的內容以及動態定價，並且做適度的調整。

 

運營

供應鏈數據包含了大量信息含量豐富的交互，包括通過射頻識別（RFID）和微傳感器獲取的實體產品的流向信息。比如空客的價值鏈可視化項目利用射頻識讀器和運動傳感器以及傳送帶，實時監測流程、物資以及財產的流向。項目參與者包括供應商、製造商、顧客以及合作夥伴，成果是減少庫存、提高生產能力並且降低成本。

 

我們如何才能抓住大數據以及分析方法帶來的收益？

儘管可以通過大數據處理大量多樣化的數據集，並揭示複雜的關係，但是其中的關鍵還在於由人來解讀數據和關係並且將其轉化成洞察見解。

數據科學家們身處公司轉型的前線，因此設計公司組織架構與分析流程時一定要考慮到這些專家團隊。

 

 

 

大數據時代的破壞性創新下

 

 

 

設計業務模式

隨著公司不斷發展，其數據分析能力也必須要從基礎性分析、推測性分析提高到更加成熟預測性分析（見圖6）。基礎性分析的方法是回顧業務歷史：做什麼業務，在哪裡做業務，做了多少業務。推測性分析方法能夠發現獨特的驅動因素、根本原因以及商業元素的敏感性。預測性分析方法通過業務建模與模擬來進行預測。

 

在分散式的服務模型中，每個業務單元或職能部門都有自己的數據分析團隊，從而能夠快速地做出決策並且執行。但是，通常情況下，這一模型缺少專門的人員進行戰略性規劃或者分享最佳實踐，這可能導致重複的資源和設施投入。這種模式提高了專注度，但是缺少全局觀，容易錯失機會。

 

嵌入式的共享服務模型是一種集中化的模型，在某個現有的職能部門或者業務單元基礎上設置一個數據分析組織，並且服務於整個公司。這種模型可以加速執行與決策的速度，其架構、支持流程以及標準可以提高效率並豐富IT專業技術。但是這一模型中，分析組織的角色更像一名消費者而非提供服務的合作夥伴。

 

獨立式共享服務模型與嵌入式共享服務模型類似，但是分析團隊卻獨立於公司組織的實體或者職能部門。它直接匯報給高管層，並且將數據分析提升成為一種核心的能力，而不是支持性的能力。

 

多數情況下，最有效的大數據分析業務模型是將分散的商業智能服務與獨立式的分析共享服務相結合。當業務單元中嵌入商業智能服務之後，整個公司可以迅速了解績效表現，同時促使公司形成一種基於假設的、數據驅動的決策制定文化，而不是採用憑藉“直覺”的方法。

而集中化的獨立分析職能可以確保其總覽公司整體業務，並對公司待發掘的機遇進行預測式，而非被動式的觀察。

 

誰最善於利用大數據？

儘管在大多數公司中，已經設有開發大數據必不可少的職位，但仍需要更嚴格地定義這些職位的權職範圍、對管理層的可見性、以及相應的技術要求。擔任這些職位的人員需要具備一定的特質，比如樂於試驗，並且有能力利用數據建立模型來預測未來的發展。

 

例如寶潔的CEO鮑勃·麥克唐納德（Bob McDonald）認為“數據建模、模擬，以及其他的數字工具正在重新塑造我們的創新模式”，這使得他員工需要掌握不同以往的技術。寶潔制定了麥克唐納德所謂的“根據員工在公司組織內每一層級的晉升要求而製定的數字化技能基準庫”。商業智能經理需要的技能是為業務單元和公司戰略提供信息，而商業分析師需要知道如何利用基於假設的方法解決問題，並且應用跨部門的數據，在全公司範圍內發現機會。同樣的，數據分析員用非結構化數據建立復雜的數據模型，而數據經理重新設計IT系統結構，站在公司全局看待問題，將更大規模數據操作（非結構化數據）和建模活動納入到決策制定流程。

 

需要投資什麼樣的技術才能發揮數據分析的能力？

要想發揮大數據的潛能，面臨的挑戰之一是在合理的成本範圍內改變IT系統架構。這需要將舊系統與新系統結合。在所有可行的選擇中，要想做出正確的技術投資（最大化分析回報），就得完全理解什麼樣的大數據架構能夠達成公司數據分析的目標。分析回報會隨著數據複雜性的改變而提高——從結構化數據到非結構化數據，從“清晰”的內部數據到“混亂”的外部數據，從單向數據流到與顧客和合作方共享的雙向數據。實現數據分析和大數據的架構必須能夠有效地處理所有類型的數據。

 

大數據的技術架構與標準的架構相似，都有五層結構：展示、應用、處理、存儲和整合（見圖8）。展示層提供了一個與工作流和管理層交互的主要界面，並通過儀表板發布數據報告，還提供數據可視化的工具。應用層即包含了商業邏輯的一層，在此開展分析、建模以及商業智能工作。處理和存儲層會實時或者接近實時地處理並且存儲大量的結構化以及非結構化數據。最後，整合層通過一個組織與各種公司數據源交互，並且把這些數據源從大數據架構中移進移出以及在整個架構內部移動。 5層中的每一層都包含著不同的數據處理功能，他們串聯在一起產生出理想的結果。每一層都負責特定的以數據為中心的工作和功能。這些要素的組合體可以滿足新的大數據產品的細分市場的需求：

 

明確大數據能夠帶來的變革。對於這家大型零售商來說，需要建設新的能力來擺脫現在的困境並取得競爭性優勢——能夠在不斷變化、充滿動盪、競爭加劇的市場中得以持續的優勢。從銷售、預測、購買到分銷、調配和運輸，公司的管理團隊分析了所有業務領域，明確數據分析可以改善哪些方面。工作重點放在了預測性分析而不是被動的數據獲取上。該零售商不去追究外帶式烘焙披薩銷量下降的原因，而是預測未來隨著時間變化，不同地區外帶式烘焙披薩銷售額和銷量變化的情況。同時，公司希望能夠提前預測食品安全問題，而不是等到發生以後做被動的處理。這家零售商打算用社交媒體數據來發現問題，使得公司更加關註消費者，而且避免可能出現的危機。公司計劃成立一個商業信息組織，實現四個目標：

 

• 發佈滿足公司特定需求的信息

• 培養應對當前以及未來競爭的技術

• 創建一個覆蓋全公司的數據分析協作平台

• 實現對不同渠道和地域所售產品類型的持續觀察

 

制定未來的能力情境。這家零售商渴望制定出將來的能力情境。這需要評估總成本、風險以及靈活性，並結合企業文化來製定。比如，業務是否是數據驅動？公司能否適應基於假設的思維方式和試驗？這兩點是大數據的本質。我們同樣確定了每種情境中需要權衡取捨的因素，包括能力的比較、變革的優先順序以及所需時間的估測。比如，公司總部集中式的全球數據拓撲以及本地-區域-全球相結合的結構，哪種最有效？搭建大數據的未來架構時，Hadoop和Cassamdra的利弊是什麼？我們在抓住重要機會的前提下評估上述因素，例如利用領先技術、利用協作平台、將先進的分析方法整合到現有的以及將來的架構中，以及搭建一個適用於多種分析方法類型的規模可變的平台。大數據這項技術可以培養出五項關鍵能力，作為是將來盈利的基礎：

 

• 預測消費者的採購和購買行為

• 制定適合各個門店的特定的定價策略、空間佈置以及產品分類

• 在定價中明確並且利用價格彈性、客戶黏性和客戶偏好

• 優化不同地區以及業務單元的全球採購流程

• 利用模型提出節能減碳的建議

 

明確收益方案並製定路線圖。有了這些能力後，接下來的問題就圍繞著資源展開。分配內部資源進行大數據分析是否能產生經濟價值？或者利用外部資源進行大數據分析是否更節省成本，至少在初期是這樣？自然，應該根據公司的能力做出決策。技術需求需要從兩個角度來計劃：數據和架構。數據方面，數據規劃藍圖涵蓋的內容首先是數據的獲取和存儲，然後是採用自助環境將結構性和非結構性數據展示出來。系統架構方面，可能涉及到基於Hadoop軟件的數據整合，在規劃時要考慮到現有的IT架構，因為現有的IT架構高度依賴於採用Teradata和Oracle平台存儲的關係數據庫。最終制定的路線圖勾勒出了一個在5年之內獲得數百萬美元收益的投資計劃。現在，公司的定位是通過大數據戰略實現四個關鍵目標：

 

• 以更快的速度、更低的成本，傳遞一致的信息

• 提高在各業務板塊蒐集和發布信息的效率，從而更清晰地了解了運營業績以及利用公司全球性業務組織的機會

• 開發可複制的商業智能係統以及分析方法，以避免不同團體重複性地開發分析方法以回答相似的問題

• 利用先進的分析方法發掘能夠創造價值的商業見解

 

支持破壞性創新

21世紀的大數據是否等同於工業革命？我們覺得是。越來越多的公司為了獲取短期和長期的利益，都在不斷嘗試並且實施各種方法來挖掘大數據的潛能。成功的關鍵因素是首先要把數據看作是資產——作為建立價值主張和商業模式的基礎。其次，努力培養利用大數據潛能的各種能力。或許最重要的是要用創新的方式打破現有的商業模式。