大數據-風險管理新武器

摘要: 本文將通過淺顯易懂的例子，深入淺出的向您介紹大數據在量化投資，信用風險，市場風險，反洗錢等風險管理領域，以及財務管理等其他金融領域的應用。就如大家通過我們的文摘閱讀了解到的大數據的知識， 這個世界的數...

本文將通過淺顯易懂的例子，深入淺出的向您介紹大數據在信用風險，市場風險，反洗錢等風險管理領域，以及財務管理等其他金融領域的應用。

1、概述
就如大家通過我們的文摘閱讀了解到的大數據的知識， 這個世界的數據正以前所未有的速度、類型以及體量進行著爆炸式的增長。現如今的技術也幾乎可實現即時而有效的實時分析。

然而，當大數據已經被許多領域接受時，風險控制仍未開始利用它的力量。事實上，大數風險控制方面也有著革命性的潛力。它能提高風險模型的預測能力及穩定性，指數式的改善系統響應時間及效用，提供更廣泛的風險覆蓋，並且能顯著的節約成本。在這個正在變得越來越複雜並且需求也越來越多的社會中，獲取、處理以及利用大數據的能力將決定風險管理的勝敗！

大數據在風險管理中的優勢：

• 提高風險模型的預測能力及穩定性

• 實時風險智能將更廣泛的應用，實時風險監控將有可能實現，而噪聲信號比率卻可以被降低。

• 基於重點領域的有效信息作出的決策的能力將會增強。

• 顯著的節約風險管理的成本

世界上超過90%的數據在最近2年內產生，思維超前的產業及機構已經開始挖掘並利用這個寶藏。大數據被定義為可以組織和分析的'海量'、'高增長率'和'多樣化'的信息資產，並被認為是一個真正的遊戲規則改變者。這個它對風險管理而言又意味著什麼呢？簡而言之，大數據代表著風險控制在這個領域點的未來。為什麼呢？因為大數據科技可以幫助風控團隊獲得更加精確、並在近乎實時的大量風控數據！在金融服務這個行業內，他們能讓資產管理者、銀行以及保險公司積極的預測到潛在的風險，更快並更有效率的做出反應，並且在成千上萬的風險變量出現的時候做出穩健的決策。當大數據在金融服務行業內應用於風險管理時， 數據的“高真實性”以及“高價值”將會得到充分體現，而這些數據也將會變得越來越精確以及可靠。於此同時，有效的風險控制模型可能給金融機構帶來以十億計的損失，因此通過降低風險的方式可以顯著的節約成本。大數據技術將改變如今世界的風險管理。請確保你將參與到其中。

2、“噪音”還是“信息”？
“在新世界的風險管理中，時間至關重要，如果你能更快地應對風險，你就有了一個競爭優勢”

具有靜態結構和有限交互路徑的數據倉庫時代已經過去。取而代之的是具有可得性的複雜多樣的來源，包括社交媒體、電子郵件、傳感器數據、商業應用、檔案和文件。同時，取得和分析數據的速度亟需嶄新的方法。現在，我們正步入數據湖時代。

數據湖的方法很簡單：你不必在孤立的指令性存儲中組織數據，而是將不同原始格式的所有類型的數據保存到一起。數據湖既有結構化數據（載於關係型數據庫和電子表格中）， 也有非結構化數據（如社交媒體，電子郵件和文本文檔），而它的運用將更加快速靈活。基於上面提到的那些實時信息，這個系統允許用戶進行點對點查詢和跨數據源的導航，進而做出分析決策。

想像一下，你要對一個新客戶進行信用檢查，幾秒鐘之內，數據湖就會允通過一系列信用數據（包括客戶的信用報告，消費習慣，社交媒體概況，以及信用卡還款率等）生成一個風險概況。

擔心交易大廳的欺詐嗎？比起手動地、辛苦地跟踪交易人員行動，數據湖允許獲得行動的即時快照，包括從聊天室的站點、移動電話、甚至門刷卡中獲得的信息。可疑的活動一旦發生，它就能被識別出來並及時停止，避免了遭到罰款，也避免了毀壞你銀行的聲譽。

大數據意味著大承諾，但它能夠不辜負大承諾嗎？現在下結論，為時尚早。隨著每日產​​生大量數據，“噪音”（很有可能）增加得比“信息”更快。因為，有這麼多假設需要進行測試，有這麼多數據等待挖掘，但是客觀真理的數量卻是相對穩定的。要確定有用的信息，需要有針對性的策略和適當的技術，或者是針對隱晦的洞察力和價值的體積龐大的威脅數據。

3、大數據應用-遊戲規則的改變者
風險管理面臨新的機遇與挑戰。為了應對危機，監管機構要求更為詳細的數據以及日益複雜的報告。銀行預期將在所有資產類別中對各種場景進行定期而全面的自下而上的壓力測試。近來，廣為報導的“流氓交易員”和洗錢醜聞，促使行業進一步要求加強風險控制和建模。大數據技術為應對這些挑戰提供了新的機遇。廣泛、全面和近乎實時的數據有能力提升風險監控（同時降低信噪比），風險覆蓋率，以及風險模型的穩定性和預測能力。在一些關鍵領域，特別是操作風險和合規風險，大數據技術將使得模型的發展能夠支持風險人員的日常決策。這些技術能夠快速處理大規模數據，同時也能夠適應設定在交易，交易對手和投資水平上的情景壓力測試的新要求。大數據所提供的絕大多數好處和挑戰，都來自於其龐大的數量和多樣性（圖1）。然而，不同的風險領域確是以不同的途徑從大數據技術中受益。無論一個機構是要求數據有更大容量，更具多樣性，更加快速，亦或是更具準確性，大數據都可以有針對性地滿足其特殊需求，並且在戰略上應用這些數據加強不同的風險領域。

4、信用風險-更好的預測能力
經濟危機爆發以後，金融機構希望能夠深入地了解他們的客戶。越來越多富有遠見的銀行在信用風險領域，利用大數據來發展更穩健的預測指標。新的數據來源，包括社交媒體和營銷數據庫。它們可以用來獲取被更為清晰的客戶行為分析。這些信息來源能揭示一些令人吃驚的消息：一場代價很高的離婚，一次昂貴的購物，一個賭博的問題。

從數據湖中得到的信息，加上傳統數據源，包括金融、社會人口、內部支付和外部損失數據，集中在一起可以產生一個非常強大而全面的風險指標。運用大數據技術，我們可以從客戶現有的行為來判斷出風險預警信號，並及時採取行動，而不用等到審核貸款客戶的財務報表才發現還款問題。

5、反洗錢-實時可應對的洞察
最近幾次醜聞之後，業界對待洗錢和恐怖主義融資到了零容忍的地步。一經發現，罰款極其嚴厲。最近一家法國銀行因為與被美國製裁的國家做交易，被處以89億美元的巨額罰款，創下歷史記錄。

洗錢案件的高成本迫使銀行尋求新的方法，來解決當前反洗錢風險管理中存在的嚴重缺陷。傳統的反洗錢方法還停留在依靠規則和描述性分析來處理結構化數據。該系統有明顯的局限：缺乏自動算法，在大量數據中檢測信息時，需要費力的關鍵字搜索以及人工篩選報告。舉個例子，近期我們觀察到這樣一個案例，一家大型金融機構的支付提示裡出現“CBI”這個縮寫時，可能是指愛爾蘭央行（Central Bank of Ireland），意大利央行（Central Bank of Italy）或伊朗央行（Central Bank of Iran）（編者按：其中只有伊朗在國際制裁的名單裡）。而所有出現“CBI”的交易記錄都會被發送到反洗錢部門進行人工審查。這是一項耗費資源又容易出錯的任務。

大數據分析可以改進現有的反洗錢操作流程。該方法對於結構化數據能進行高級統計分析，而對於非結構化數據，也能做先進可視化處理和統計文本挖掘。這些方法可以提供一種迅速繪製出交易和賬戶之間隱藏著的聯繫、並發現潛在可疑交易模式的手段。高級分析能夠生成實時可應對的洞察，阻止潛在的洗錢風險，同時允許資金和人力援助轉移至經濟困難需要幫助的地區。大數據技術可以識別事故，幫助繪製更廣泛的圖像，讓銀行在為時已晚之前拉響警報。

6、市場風險/交信用風險-速度的需求
交易對手信用風險量化變得越來越複雜。衍生工具不再是簡單的每條交易法則的淨折現值- 而是銀行自身的信貸質量（債務估值調整- DVA ） ，它的交易對手方（信用估值調整- CVA）和無擔保資金（資金估值調整- FVA ）都需要作為考慮因素。這些計算通常必須在不同的定價數據（例如應用“風險中性” CVA ）下進行，並且生成各種不同頻率的報告– 月度報告，每週報告，每日報告，當日盤中報告。

計算這些組件是巨大的且數據密集的工作。為了在投資組合層面計算CVA，大銀行通常會執行1000 至5000組蒙特卡洛場景擬合。不過，要完全模擬結構性金融產品的所有衍生品工具的潛在風險，銀行可能需要運行大約100,000組蒙特卡洛場景擬合。傳統網絡技術根本無法以足夠快的速度應付如此大的運算，因此常常由於處理過載而失敗。

然而，內存圖形處理單元(GPU) 能在日益增加的高負載數據市場風險領域提供巨大的利益。源自遊戲產業中內存/ GPU技術，允許系統以難以置信的高速度處理大量數據。在內存中執行帶來了相對於傳統方法關鍵優勢：非常迅速的數據處理速度，比如處理增量假設的統計數據是可能僅需幾秒鐘。總體而言，這種解決方案可以很大的提高資產負債表的優化和抵押品管理，包括對新的客戶交易和市場價格/波動變化提供實時風險模擬。

在市場風險和交易對手信用風險管理方面，數量和速度是重要的推動因素。簡單地說，擁有更強蒙特卡洛分析能力的銀行將能夠把金融衍生品交易的定價提高到比競爭對手更好的水平。

“新的高性能計算和內存技術正在將我們的市場風險管理提高到一個新的水平。無論從計算能力以及對成本的角度來看技術已經不是一個限制因素了。市場和信用風險估值可以通過使用這些新技術來模擬在更多的細節。它甚至允許使用直到近來還被認為是不可能或過於昂貴的模型和模擬運算。” ---馬克.範.巴倫，ING銀行全球MRMB交易主管

7、交易監控和欺詐管理
欺詐讓銀行損失巨大。備受矚目的流氓交易醜聞,比如說: 近年來Kweku Adaboli和Jerome Kerviel的案子在新聞報導中搶足了風頭, 罰金天價。這些案件給整個金融體系造成嚴重破壞。 Nick Leeson的欺詐投機交易造成整個銀行業災難性崩潰。被全球外匯調查後,最近有6家銀行被罰43億美元，這反映出加強對同業拆借利率的管控是多麽的失敗！

傳統方法在識別欺詐方面緩慢、冗長、麻煩。傳統運營風險團隊逮住流氓交易者的方法是人為地追踪那些操縱崗位、盈虧的交易商和運營人員的舉動。然而，現在欺詐者往往使用一系列的技術和策略來規避，比如最近FX 醜聞中的私人聊天室。新數據湖技術的優勢在於可以從任何可以想得到的渠道收集數據，不僅包括各種交易系統、電子郵件、社交媒體和移動數據，還包括各種人力資源系統、出入門刷卡裝置和計算機登錄日誌文件等。因此，進行全面綜合的數據分析，就能夠在損失達到災難級前就監測到欺詐行為。

“在運營風險方面，大數據的優勢在於能夠整合來源於舊平台的海量信息，從而得出一個高度可行的解決方案。例如：在客戶和我們的互動中，我們能夠權衡各種大數據解決方案，獲得對各個平台的登錄控制管理的更好見解，從而有助於我們確保全過程客戶交易的安全和保密。”

8、過去、未來與現在
目前，大數據不僅能幫助我們改善反應與預測能力，還為解決風險提供了令人興奮的新可能性。認知技術的最新發展將能讓大數據技術能實時地作出合理明智的決定，保護易受衝擊的市場。

例如，Twitter與華爾街的交織導致了一些災難性的事件的發生。去年，一則來自美聯社的錯誤推文稱——白宮已經被爆炸襲擊，這讓市場直線下跌。 IBM的超級電腦Watson(華生)的識別程序可以用來解決這類的風險。 “華生”具有分析像社交媒體源這樣的非結構數據的認知能力，能迅速並且合理地對風險進行評估。在這個案例中，來自twitter 的報導應該由提示觸發器來告訴用戶要警惕閱讀此條消息，而不是立刻在市場上帶來一系列災難性的影響。

新技術的發展令人生畏。然而大數據技術已經被證明具有安全性、有效性、增值性， 並且在以指數級的速度快速發展成為很多行業（從在線購物到醫藥研究）的標準規程。在不久的將來，我們期待銀行在繼續使用它們已經存在的數據庫和數據倉庫的同時，使用大數據開源軟件，Hadoop生態系統等，通過映射元數據、聚合結果，顯著的增加現有系統、數據庫、數據集市的價值。

Hadoop可以作為一個一站式的企業數據平台（跨公司的共享數據），用以創建數據湖，通過“中間件”連接器與數據倉庫相連，使數據以其原始形式保留。

這種靈活性使得我們令人驚訝地發現：替代預定義的提問，數據湖允許數據指導使用者，觀測各種數據形式的模式和關係。數據湖通過觀察不同類別數據所呈現出的模式和關聯關係來指導用戶，而非預定義的提問。當充分發揮它的潛力，大數據可以提供在開始時並不存在的問題的答案。

資料來源：煉數成金