打破4個大數據迷思

摘要： 摘要內容

如果你在過去幾年裡花了很多時間在數據科學和或IT領域，你就會被“大數據”這個詞所淹沒，或如果你從事的工作和資料科學有一點點點關係，例如，營銷，運營，財務等你可能已經過度接觸這個詞了。您也很可能聽過一些關於大數據的問題，這些問題使您的組織卻步，而無法使用大數據能帶給你的組織文化和流程的資源。您聽說過有關大數據的所有真相？它們（通常）不是真相，而是以某種方式在組織內和互聯網上不斷發展的迷思。我經常聽到的一些重要迷思是：

大數據僅適用於大公司

大預算，大團隊，大平台

更多數據更好

機器比人類好

讓我們來看看這四個迷思中的每一個，看看為什麼它們仍然存在 - 以及為什麼你可以安全地忽略它們。

大數據僅適用於大公司

這個迷思類似於第二個迷思（大預算，大型團隊，大平台），但兩者都應該分開討論（和打破）。對於一家小公司而言，大數據計劃同世界上最大的公司一樣有效。

作為一個小型組織，您擁有的數據可能不像其他數據那麼大，但分析和利用該數據的方法保持不變。無論您的組織有20,200還是2,000人，您都可以使用亞馬遜用於分析數據的相同流程和平台來降低成本，提高銷售額，增加收入並創建新的創新方式。

大預算，大團隊，大平台

正如我之前提到的，這個迷思通常與第一個迷思混淆。多年來，我聽說有人說他們不能“做大數據”，因為他們不是那些預算龐大的大公司之一。“現實情況是，開始進入市場並不需要太多。這個空間。我認識一家人口少於10人的公司，其收入低於數百萬美元，他們擁有我見過的最複雜的數據科學管道和流程之一。他們在沒有大團隊，大預算和大型平台的情況下“做”大數據，而且運作良好。

如今，啟動基於雲端的系統的能力使其對任何組織都非常容易且經濟高效。這個特殊的10人團隊不需要花一點錢就可以開始工作並重新讓一些員工熟練掌握他們的數據，但是投資並不大，而且至今已經獲得好幾倍的報酬了。

更多數據更好

當人們開始查看他們收集的數據量時，想到這一點並不罕見，“嘿！我們應該使用* 全部的*數據！“雖然我鼓掌熱情，但只是添加更多數據並不總是正確答案（很少是正確答案）。

很容易認為通過向預測項目添加更多變量可以獲得更高的準確性，但情況並非總是如此。有時，更好的準確性會導致可靠性較低的模型，因為這些模型可能針對一組特定數據進行了過度優化，如果數據特徵隨時間變化，這可能會導致災難。

更多數據不總是更好，但更好，更乾淨的數據。而不是不斷尋找更多數據來添加到您的系統和流程，而是開始尋找使現有數據流程更好的方法。更多數據可能意味著更多風險，特別是如果您不經常查看模型，數據管理和數據流程。在大多數情況下，投資於良好的數據管理比從投資取得更多數據中能獲得更多價值。

機器比人類好

我最近看到的挑戰之一是許多人認為他們將能夠採用機器學習和人工智能等新方法，並將這些方法應用於他們的數據，事情會自動變得更好。甚至有人錯誤地認為"人類只能這麼做，而機器可以做得更多"：這遠非事實，而且是個危險的想法。機器只能做人類告訴他們做的事情。雖然有一些研究試圖開發機器使其思考，但今天的組織並沒有這樣的東西。

機器學習模型只會與數據科學家構建它以及用於創建它的數據集一樣好。至少在可預見的未來，人類總是必要的。

對更多數據的渴望

在處理生活中的大多數事情時，人們通常很擅長通過使用他們的常識和經驗來判斷他們聽到或讀取的內容是否正確。直到它不正確為止，這種方法很有效。我的經驗告訴我，當涉及大數據，人工智能和機器學習時，它不能很好地工作。現在人們的直覺是錯誤的（例如，更多的數據必須更好）。該公司試圖為大型組織銷售價值數百萬美元的大型數據平台，他們總是會說你必須擁有龐大的預算，大型團隊和大數據平台。銷售機器學習和人工智能諮詢服務的公司總是試圖以“更多”的方式向您推銷，因為這是他們賺錢和保持業務的方式。

不要誤會我的意思，賺錢並不是件壞事，我強烈主張公司聘請諮詢服務來做他們沒有足夠技能能做的事情。但實際情況是，您不需要大量數據，龐大的預算或大型平台來查找數據中的價值。你真正需要的就是好奇心，一些分析技巧和一些好的，乾淨的數據。

轉貼自： The Enterprisers Project

若喜歡本文，請關注我們的臉書：Big Data In Finance