在2019年一起跟上AI潮流

摘要：過去的一年裡，AI的發現和發展都很豐富。這篇文章試圖讓你真正得到：在過去的一年裡，我將嘗試提取AI環境中的一些模式。而且，如果幸運的話，我們會看到一些趨勢如何延續到不久的將來。

過去的一年裡，AI的發現和發展都很豐富。這篇文章試圖讓你真正得到：在過去的一年裡，我將嘗試提取AI環境中的一些模式。而且，如果幸運的話，我們會看到一些趨勢如何延續到不久的將來。

孔子說過：“最難的是在黑暗的房間裡找一隻黑貓，特別是如果沒有貓的話。”

▲你看到黑貓了嗎？

這是一篇評論文章，這篇評論以美國為中心，所以對其他國家發生的事情不會深入講解，至於這篇文章的讀者可能會是一個對人工智能有興趣的學生、一個想擴大視野的工程師、一個企業家、尋找下一筆交易的風險投資家;或者只是一個技術啦啦隊長，誰也迫不及待地想看看這潮流帶我們走向何方。

演算法

演算法不須質疑地由深度神經網絡主導。當然，你會聽到有人在這里和那裡部署“經典”機器學習模型（如Gradient Boosted trees或Multi-armed bandits）。並聲稱這是任何人都需要的唯一東西。甚至有一些宣言，即深度學習正處於死亡之中。即使是頂尖的研究人員也在質疑某些DNN架構的效率和穩健性。但是，無論喜歡與否，DNN無處不在：自動駕駛汽車，自然語言系統，機器人 - 您可以這麼說。 DNN中的所有躍進都沒有像自然語言處理，生成性對抗網絡和深度強化學習那樣明顯。

深度 NLP

儘管在2018年之前，使用DNN進行文本（word2vec，GLOVE，基於LSTM的模型）已經取得了一些突破，但缺少一個關鍵的概念元素：轉移學習。(也就是，在大量公開數據上訓練模型，然後在您正在使用的特定數據集上“微調”它。)

問題是，用於轉移學習的技術並不適用於NLP問題。在某種意義上，像word2vec這樣的預先訓練的嵌入正在填補這個角色，但是它們在單個單詞級別上工作並且無法捕獲語言的高級結構。

然而，在2018年，情況發生了變化。 ELMo，語境化嵌入成為改進NLP轉學習的第一個重要步驟。 ULMFiT更進一步：對嵌入的語義捕獲功能不滿意，作者找到了一種為整個模型進行轉移學習的方法。

但最有趣的發展當然是BERT的引入。通過讓語言模型從英語維基百科的整篇文章中學習，該團隊能夠在11個NLP任務中獲得最先進的結果 - 這是一個壯舉！更好的是，代碼和預訓練模式都是在線發布的 - 所以你可以將這個突破應用到你自己的問題中。

生成對抗網絡的許多面孔

CPU速度不再呈指數級增長，但創新對抗網絡的學術論文數量肯定會繼續增長。 GAN多年來一直是學術上的寵兒。現實生活中的應用似乎很少而且相差甚遠，而且在2018年它的變化很小，GAN仍然有著驚人的潛力等待實現。

出現的一種新方法是逐步增加GAN的想法：讓生成網路通過培訓過程逐步提高其輸出的分辨率。使用這種方法的一個更令人印象深刻的論文是採用風格轉移技術來生成逼真的照片。多麼現實？你告訴我：

GAN如何以及為何真正起作用？我們尚未對此深入了解，但仍有重要的步驟：麻省理工學院的一個團隊對該問題進行了高質量的研究。

另一個有趣的發展，雖然在技術上不是GAN，但是Adversarial Patch。這個想法是使用黑盒子（基本上，不看神經網絡的內部狀態）和白盒子方法來製作“補丁”，這會欺騙基於CNN的分類器。這是一個重要的結果：它引導我們更好地直觀了解DNN的工作方式以及我們對人類概念感知的距離。

我們需要增強式學習

自從AlphaGo在2016年擊敗Lee Sedol以來，強化學習一直備受關注。儘管人工智能在最後的“經典”遊戲中佔據主導地位，但還有什麼能夠征服？好吧，世界其他地方！具體來說，電腦遊戲和機器人。

對於它的訓練，加強學習依賴於“獎勵”信號，它是如何做到的。計算機遊戲提供了一種自然環境，這種信號隨時可用，與現實生活相反。因此RL研究的所有注意力都集中在教AI如何玩Atari遊戲。

談到DeepMind，他們的新作，AlphaStar再次發布新聞。這款新車型擊敗了頂級的星際爭霸II職業選手之一。與大多數棋盤遊戲不同，“星際爭霸”比國際象棋或棋子複雜得多，具有巨大的動作空間和隱藏在玩家身上的重要信息。這場勝利是該領域非常重要的飛躍。

OpenAI，RL的另一個重要角色，也沒有閒著。他們聲名鵲起的是OpenAI Five，這是Dota 2中99.95％的玩家系統，這是一款非常複雜的電子競技遊戲。

儘管OpenAI一直非常關注計算機遊戲，但它們必須忽略RL的真正潛在應用：機器人。在現實世界中，反饋很少且創建成本高昂：你基本上需要一個人類照顧你的R2D2，而它正試圖採取它的第一個“步驟”。而且您需要數百萬個這些數據點。為彌合這一差距，最後一個趨勢是模擬環境並同時運行大量這些場景，以便將機器人教給現實世界。 OpenAI和Google都在研究這種方法。

Deepfakes

Deepfakes是一種圖像或視頻，可以顯示（通常）一個公眾人物做或說他們從未做過的事情。它們是通過訓練GAN，然後生成新媒體來創建的。 2018年1月發布的名為FakeApp的桌面應用程序允許任何擁有計算機和計算機科學知識的人創建深度偽造。雖然它製作的視頻很容易被視為非正版視頻，但該技術已經取得了很大進展。只是觀看此視頻，看看這進展有多驚人。

TensorFlow vs PyTorch

那裡有許多深度學習框架。這個領域是巨大的，這種變化在表面上是有意義的。但在實踐中，最近大多數人都在使用Tensorflow或PyTorch。如果你關心可靠性，易於部署，模型重新加載，SRE通常關心的事情，你可以選擇Tensorflow。如果你正在寫一篇研究論文，並且沒有為谷歌工作 - 你可能使用了PyTorch。

ML作為隨處可見的服務

今年，我們看到了更多的人工智能解決方案，Google Cloud和Azure都改進了舊服務並添加了新服務。 AWS機器學習服務逐漸令人生畏。

雖然狂熱已經冷卻了一點點，但是多家創業公司都已經準備好與彼此大戰。每個人都向顧客承諾模型訓練的速度，易用性和驚人的模型性能。只要輸入你的信用卡，上傳你的數據集，給模型的一些時間訓練或微調，調用REST（或者，更前瞻性的創業公司，GraphQL）API，你馬上成為AI的主人。

有了這些豐富的選擇，為什麼有人甚至會費心自己建立模型和基礎設施呢？在實踐中，看起來，現成的MLaaS產品非常好用80％的用例。如果你想讓剩下的20％運作良好 - 你的運氣就走到盡頭了：您不僅不能真正選擇模型，甚至無法控制參數。

AutoML和AI Hub

今年推出的兩項最有趣的服務都是由谷歌推出的。

首先，Google Cloud AutoML是一套定制的NLP和計算機視覺模型培訓產品。這是什麼意思？ AutoML設計師使用一些預先訓練的設計器來解決自動調整。這意味著您很可能想要自己操作模型。當然，如果你想做一些真正新的或不同的東西，這項服務不適合你。但作為附帶好處，谷歌會根據大量專有數據對其模型進行預先培訓。

第二，TF Hub是一個可靠的，精選的模型庫，您可以對其進行微調或構建。只需包含幾行代碼 - 而TF Hub客戶端將從Google的服務器中獲取代碼和相應的權重 - 而且，它只是有效！ AI Hub更進一步：它允許您共享所有ML管道，而不僅僅是模型！它仍然處於alpha狀態，但如果你知道我的意思，它已經比最新文件“3年前修改過”的隨機存儲庫更好了。

Nvidia

如果您在2018年認真對待ML，尤其是DNN，那麼您使用過一個（或多個）GPU。，GPU領導者的一年非常忙碌。在加密貨幣狂熱和隨後的股票價格降溫之後，Nvidia擁有基於圖靈架構的整整一代新的消費級卡。僅使用2017年發布的專業卡並基於Volta芯片，新型號包含稱為Tensor Cores的新型高速矩陣乘法硬件。矩陣乘法是DNN運行方式的核心，因此加快這些運算將大大提高新GPU上神經網絡訓練的速度。

對於那些對“小”和“慢”遊戲GPU不滿意的人來說，Nvidia更新了他們的企業“超級計算機”。 DGX-2是一款具有16 Tesla V的怪物盒，用於480個TFLOP的FP16操作。價格也得到了更新，令人印象深刻的40萬美元。

在一個有趣的發展中，Nvidia為他們的遊戲卡推出了基於DNN的功能：深度學習超採樣。現在，Nvidia允許開發人員在遊戲中訓練圖像轉換模型。之後，遊戲隨預訓練模型一起發貨。在遊戲中，是通過圖像質量來運行，而不是產生舊式抗鋸齒的成本。

Intel

Intel在2018年絕對不是人工智能硬件領域的開拓者。但似乎他們想要改變這一點。

令人驚訝的是，大多數活動都是在軟件領域。Intel正在努力使其現有和即將推出的硬件更加適合開發人員。考慮到這一點，他們發布了令人驚訝的競爭工具包： OpenVINO和nGraph。

他們更新了他們的神經計算棒：一個小型USB設備，可以加速在任何USB端口上運行的DNN，甚至是Raspberry Pi。

對傳聞中的Intel獨立GPU有越來越多的關注。但在DNNs訓練中還有待觀察。

客製化硬件

谷歌推出了他們的第三代TPU：基於ASIC的DNN專用加速器，具有驚人的128Gb HMB內存。 256個這樣的設備組裝成一個具有超過一千petaflops性能的pod。今年，谷歌已經在谷歌雲上公開發布了TPU。

在類似的舉動中，亞馬遜部署了AWS Inferentia：運行模型的更便宜，更有效的方法。

谷歌還宣布了Edge TPU，芯片很小：10個芯片大概1美分硬幣的大小。與此同時，在實時視頻上運行DNN並且幾乎不消耗任何能量。

一個有趣的潛在新進入者是Graphcore。這家英國公司已經籌集了令人印象深刻的3.1億美元，並在2018年推出了他們的第一款產品GC2芯片。根據基準測試，GC2在進行比較時打敗了頂級Nvidia服務器GPU卡，同時消耗的能量大大降低。

AWS Deep Racer

亞馬遜推出了一款小型自動駕駛汽車，DeepRacer。 400美元的汽車配備Atom處理器，400萬像素攝像頭，wifi，幾個USB端口，以及足夠的電量可以運行幾個小時。可以使用3D模擬環境訓練自動駕駛模型，然後直接部署到汽車。如果你一直夢想著建造自己的自動駕駛汽車，有了DeepRacer，你就更有機會做到這一點。

將重點轉移到決策智能上

現在用於製作AI的組件 - 算法，基礎設施和硬件在實踐方面：您如何從生產中運行的有效，安全，可靠的系統中實際應用AI？應用AI或應用機器學習（ML），也稱為決策智能，是一種為現實問題創建AI解決方案的科學。雖然過去與算法相同，但未來可能是相同的。

人工智能比起被它破壞的就業機會，似乎創造了更多的就業機會

“人工智能將把我們所有的工作”與普通的殖民地和白領工人相似。而且，表面上看起來似乎是一個合理的預測。但到目前為止，情況恰恰相反。例如，很多人都獲得了創建標籤數據集的報酬。

它超越了低收入國家的通常數據農場：一些應用程序，例如LevelApp，允許他們通過使用手機標記數據來賺錢。 Harmoni走得更遠：他們甚至為難民營中的移民提供設備，以便人們可以貢獻和謀生。

數據標籤的開放性，所有行業都是由新的AI技術創造的。我們能夠做到幾年前無法想像的事情，比如自駕車或藥物發現。

整合AI基礎架構空間

前幾年充滿了人工智能基礎設施的活動：盛大的公告，豐厚的資金回合和崇高的承諾。在2018年，它看到，太空中的比賽冷卻下來，雖然仍有重要的新入口，但大部分貢獻都是由大型現有參與者完成的。

其中一個可能的解釋可能是我們對AI系統理想基礎設施的理解還不夠成熟。由於問題很複雜。這將需要長期，持久，專注，資源充足的努力來產生可行的解決方案 - 初創公司和小公司都不擅長。如果一家初創公司“解決”AI的問題，那將是非常令人驚訝的。

另一方面，ML基礎設施工程師很少見。對於一個更大的玩家來說，一個苦苦掙扎的創業公司與其中幾個人員一起成為一個明顯而有價至少有幾個人為了這場比賽而玩這個遊戲，同時建立了內部和外部工具。例如，對於AWS和Google Cloud，AI基礎設施服務是一個主要賣點。

另一方面，ML基礎設施工程師很少見。對於一個更大的參與者來說，一個苦苦掙扎的創業公司與其中幾個人員成為一個明顯的併購目標，一些大參與者，同時建立了內部和外部工具。例如，對於AWS和Google Cloud，AI基礎設施服務是一個主要賣點。

總而言之這個領域的整合是一個合理的預測。

減少對培訓數據的依賴

標記數據通常是昂貴的或不可取得的或兩者兼具。幾乎沒有例外。開放高質量的數據集，如MNIST，ImageNet，COCO，Netflix獎和IMDB評論，都是令人難以置信的創新源泉。但是許多問題沒有相應的數據集可供使用。

那麼一個小型獨立組織，如創業公司或大學研究小組，如何為困難問題提供有趣的解決方案呢？通過構建對監督信號越來越少的系統，以及越來越多的未標記和非結構化數據 - 由於互聯網和廉價傳感器的激增，這些系統非常豐富。

這在一定程度上解釋了對GAN，轉移和強化學習的興趣激增：所有這些技術都需要較少（或沒有）對訓練數據集的投資。

所以，這只是一個泡沫，對嗎？

那麼根據本文一開始的問題，那個黑暗的房間裡有一隻貓嗎？我認為肯定存在，而不僅僅是一個，而是多個。雖然有些貓有四條腿，尾巴和鬍鬚 - 你知道，通常的交易 - 有些是奇怪的野獸，我們才開始看到基本的輪廓。

該行業已進入熱門人工智能“夏季”的第七年。在那段時間裡，大量的研究工作，學術資助，風險投資，媒體關注和許許多多的代碼被分配到這領域。但人們有理由指出，人工智能的承諾仍然大部分都沒有實現。優步仍有人類駕駛員。仍然沒有機會在早上有機器人製作雞蛋。甚至不得不自己綁鞋帶！

然而，無數研究生和軟件工程師的努力並非徒勞。似乎每個大公司已經已經在人工智能方面已經非常可靠，或者計劃在未來實施。 AI藝術品銷售。即使自動駕駛汽車尚未在這裡，他們很快就會出現。

現在，只需要有人找出方法幫忙打那些討厭的鞋帶！等等，什麼？已經可以了?

轉貼自： Medium

若喜歡本文，請關注我們的臉書 Please Like our Facebook Page： Big Data In Finance

在2019年一起跟上AI潮流

摘要：過去的一年裡，AI的發現和發展都很豐富。這篇文章試圖讓你真正得到：在過去的一年裡，我將嘗試提取AI環境中的一些模式。而且，如果幸運的話，我們會看到一些趨勢如何延續到不久的將來。