摘要： 自從Google 的人工智能AlphaGO 成為圍棋界的百勝將軍開始，AI（Artificial Intelligence，人工智能）這兩個英文字，剎那間成為科技業最熱門的關鍵字之一。而就在2017年初，早在AI 領域打下深厚底子的IBM Watson，除了打進一些數據服務公司、科技公司外，甚至進軍醫療領域，能夠依照病患資料判定青光眼，準確率高達95%。

摘要： 這幾年來，機器學習和數據挖掘非常火熱，它們逐漸為世界帶來實際價值。與此同時，越來越多的機器學習算法從學術界走向工業界，而在這個過程中會有很多困難。數據不平衡問題雖然不是最難的，但絕對是最重要的問題之一。

摘要： Wikibon最近完成了2017年大數據全球預測，該報告的作者是Wikibon分析師George Gilbert，以及Wikibon的Ralph Finos和Peter Burris，涉及到大數據的市場規模、增長和趨勢等。

今年，我們把重點放在構建實現大數據成果所必需的戰略業務能力來說最重要的大數據軟件技術上。下面是該報告主要的一些研究發現：

– 2016年，全球大數據硬件、軟件和服務整體市場增長22%達到281億美元，讓大數據成為技術領域更具吸引力的領域之一。

–我們的模型顯示，到2027年期間，在大數據硬件、軟件和服務上的整體開支的複合年增長率為12%，將達到大約970億美元，而這主要是受到了大數據軟件的推動。

–不過，即使大數據仍然是企業關注熱點，但是嚴重的問題也使得大數據市場出現了一些黯淡之處。特別是，大數據項目的故障率很高，甚至是信息技術標準。

–大數據市場正在快速變革，以應對項目故障率較高的問題。正如我們所預測的，對基礎設施的關注正在轉移到對使用實例、應用、利用大數據能力創建可持續業務價值上來。

–為了避免出現基礎設施問題，企業對於把雲用於大數據應用特別感興趣。

大數據軟件細分市場快速增長

與很多技術領域一樣，大數據領域的很多項目首先是把焦點集中在了硬件和基礎設施軟件上。在大數據領域，獲取、保存和處理大量大數據有很多需要的技術。因此，用戶提到了大規模處理較高數據到達率而構建“數據湖”能力。這種能力仍然很重要，但是構建集群、數據庫和數據遷移工具是不夠的。如今，企業領導者重新將注意力集中在了構建大數據軟件和系統的工具和業務能力上。下面就讓我們來快速瀏覽一下每個大數據軟件細分的趨勢：

–應用數據庫增加了分析數據庫的功能。越來越多的數據分析會實時地給人類和機器發送通知信息。2016年這個細分領域的總規模為26億美元，到2020年增幅放緩到30%達到77億美元。

–分析數據庫不止是數據湖。作為數據湖的主幹，MPP SQL數據庫將繼續變革，最終成為大規模、高級、離線分析的平台。2016年這個細分領域的總體規模為25億美元，增幅要慢於總體水平，到2020年達到38億美元。

–在線選擇的增長是以大筆基礎設施開支為代價的。這個部分包括像Spark、Splunk和AWS EMR這樣的產品，2016年的總體規模為17億美元。到2020年期間增幅搶眼，到2020年規模將達到61億美元。

–物聯網應用將提升持續處理基礎設施。這個細分領域將是新興的、基於微服務的大數據應用的基礎，包括大多數智能交互系統，在2016年的總體規模為2億美元，但是到2020年將增長到18億美元。

–數據科學工具鏈正在演變為帶有API的模型。今天，數據科學工具鏈要求有專門的專家來架構、管理和操作。但是，複雜的數據科學工具鏈——包括針對機器學習的——都將轉變為實時的、預培訓的模型，可通過開發者應用編程接口進行訪問。這個細分領域的總體規模是2億美元，到2020將達到18億美元。

–機器學習應用現在大多都是定制的。除了出現很多新的專業公司之外，這些應用還將在現有的企業應用中更為普及。2016年這個市場總體規模為9億美元，到2020年它將赶超其他所有大數據細分市場，規模達到63億美元。

行動項目：企業正在迅速積累大數據經驗，但是還不夠快，無法滿足商業領袖的想像力和需求。2017年及之後，CIO們需要專注於戰略業務能力，以更快速地創建、具有成本效益地管理、成功地集成高級分析系統。

轉貼自： 36大數據

摘要： 數據造假的甄別在數據分析領域是一個熱門的話題，也是對數據分析師的一項挑戰。分析數據造假的方法有很多種。我們在前面的系列文章中曾經介紹過兩種檢驗作弊流量的方法。一種是根據歷史經驗及分佈情況的多維度交叉檢驗，另一種是使用隨機森林模型根據已知作弊流量的特徵對新流量進行分類及預測。

摘要： 作者：George Hill ，他是知名商業媒體 Innovation Enterprise 的主編，同時也是 The Cyclist 公司的聯合創始人。本文由可譯網toypipi , 中山狼 , 薯片番茄, 班納睿翻譯。長期以來，Hadoop 這個詞鋪天蓋地，幾乎成了大數據的代名詞。三年之前，提起超越 Hadoop 這件事，似乎還顯得難以想像。但三年後的今天，這一情況發生了一些改變。

摘要： 麥肯錫研究發布了機器學習將影響的12個領域，每個領域又分為10個方面。換言之，這就是機器的120個商業機會。有理由相信，深度學習將徹底改變以下提及的這12個領域。這些行業的大多數領導者都在關注機器學習，不過他們卻認為深度學習帶來的改變在遙遠的未來才會發生。他們錯了。

摘要： Ｒ語言翻轉教室，是作者參考社群多次開辦R教學的心得，撰寫出來的一份「自學教材」、 「自學教材」、「自學教材」。 有興趣的版友可以到官網上去安裝課程與進行教材。這份教材也具有挑戰性，沒有程式基 礎的版友做完一次約12 ~ 18小時。有經驗的版友大約是6 ~12小時，並不輕鬆。

摘要： 大數據時代來了。當所有人都爭吵著這件事情的時候，當所有企業都看好大數據的發展前景的時候，卻都很少關注這些數據從哪兒來，我們有沒有足夠優秀的技術能力處理這些數據。......

摘要： 神經網絡是一種數學模型，是存在於計算機的神經系統，由大量的神經元相連接並進行計算，在外界信息的基礎上，改變內部的結構，常用來對輸入和輸出間複雜的關係進行建模。......

摘要： 從基礎理論入手，詳細講解了爬蟲內容，分為六個部分：我們的目的是什麼;內容從何而來;了解網絡請求;一些常見的限制方式;嘗試解決問題的思路;效率問題的取捨。......

摘要： 除Hadoop外的9個大數據技術： 1.Apache Flink 2.Apache Samza 3.Google Cloud Data Flow 4.StreamSets 5.Tensor Flow 6.Apache NiFi 7.Druid 8.LinkedIn WhereHows 9.Mic​​rosoft Cognitive Services

摘要： 在離人工智能越來越近的今天，研究界和工業界對神經網絡和深度學習的興趣也越來越濃，期待也越來越高。我們在深度學習與計算機視覺專欄中看過計算機通過卷積神經網絡學會了識別圖片的內容——模仿人類的看，而工業界大量的應用也證明了神經網絡能讓計算機學會聽(比如百度的語音識別)，於是大量的精力開始投向NLP領域，讓計算機學會寫也一定是非常有意思的事情，試想一下，如果計算機通過讀韓寒和小四的小說，就能寫出有一樣的調調的文字，這是多帶勁的一件事啊。.......