Hadoop 正在走下坡路？

早在 2012 年，知名媒體 SiliconANGLE 就針對 Twitter 平台上的大數據專業人士做了一項調查。調查結果顯示：這些專業人士日常談論 NoSQL 等技術（如 MongoDB）的次數要遠多於 Hadoop。這表明，至少在數據科學家的群體中，用 Hadoop 代指大數據似乎並不准確

 

然而大多數人認為 Hadoop 已經是大數據最重要的技術之一，是大數據構建的基礎。它還被利用在一些新的領域，如倉儲系統。話雖如此，出人意料的是，它的適用性或多或少有點滯後。對此，IBM Software 的傳道士 James Kobielus 說道：“ 2016 年，Hadoop 在大數據領域的下滑速度比我預期的要快得多。”

 

其中原因很難說清，但可將其理解為數據領域的慣有現象。 Gartner 於 2015 年的調查顯示，54% 的公司都沒有計劃投資 Hadoop，另外 44% 的公司表示已使用 Hadoop 或將在未來兩年使用。這些數據不同人看來有不同的觀點，你可以認為 Hadoop 將進一步擴大，也可以認為大多數人根本不重視 Hadoop。同時，調查還揭露了一些其他無法平息的影響因素。在沒有投資的人當中，49% 的人仍在努力挖掘 Hadoop 的使用價值，而另外 57% 的人指出，其中的技能差距是決定是否使用的主要阻礙，而這並不能立馬得到解決。這一現象恰好與”Hadoop Testing“ 關於就業趨勢的調查結果相一致：在2014 年中旬，這一關鍵詞在大約0.061% 的廣告中出現，在2016 年末又增長至0.087%，在18 個月內，增長了約43%。

 

這可能表明，採用Hadoop的公司數量不一定會降低到坊間證據表明的那樣，但公司只是發現很難從他們現有的團隊中提取Hadoop的價值，他們需要更多的專業知識。

 

另一個可能引起人們關注的因素是，一個人的大數據卻是另一個人的小數據。 Hadoop是為大量數據而設計的，Kashif Saiyed在KD Nuggets上寫道：'如果你的企業沒有真正面臨海量數據的問題，你就不需要Hadoop，因此數百家企業對他們無用的、處理2到10TB數據規模大小的Hadoop集群感到非常失望– Hadoop技術只是不擅長處理這種規模。 ‘

 

大多數公司目前沒有足夠的數據來保證Hadoop的部署，但還是這麼做的原因是他們覺得他們需要互相攀比。經過幾年的實驗，並與真正的數據科學家一起工作，他們很快就意識到他們的數據在其他技術上工作得更好。

 

這種趨勢已經超出了採用開源平台的速度，但對於一些公司來說，這已經產生了實際的財務影響。 Cloudera和Hortonworks是從Hadoop框架構建自己產品的兩家最大的公司。由於Hadoop的下滑，對於兩家公司都造成了不同程度的重大損失，據報告Cloudera失去了40％，而Hortonworks的股價自2015年中期以來已經下跌了68％。

 

這篇文章對Hadoop的批評似乎有些苛刻，但並不是平臺本身造成了當前的問題。相反，這可能是由於過分炒作和大數據協會導致了事實上的傷害。一些公司採用了該平台卻沒有理解它，同時又沒有合適的人或數據來使其正常工作，這導致了項目實施的幻滅和明顯的停滯。 Hadoop依然還有強大的生命力，只是人們需要更好地理解它。