摘要： 語言模型相關技術是否達到極限了？
Google 旗下的人工智慧公司 DeepMind 發佈了下一代最新的語言模型 Gopher，聲稱它擁有接近高中生的閱讀理解能力。研究人員在開發和研究更強大的語言模型時，也就是在致力預測和生成文本的系統，這對於建立先進的人工智慧會有巨大的開發潛力。
語言模型旨在接收詞彙後，可以預估接下來詞彙所出現的分佈機率，但若要讓它聰明且順利的運作，需要的是極為大量的數據資料，才會產出讓我們能瞭解的語法結構。
語言模型相關技術的極限
當前的語言模型其實都還存在著一些邏輯推理能力較弱的問題，那我們是否可以通過添加更多的數據來改進？或者我們已經達到了語言模型相關技術的極限？
在 DeepMind 的研究當中，裡頭訓練了大大小小的 Transformer 語言模型，涵蓋了從 4,400 萬個參數到 2,800 億個參數的模型，而最大的模型被命名為 Gopher。
這個名為 Gopher 的語言模型能夠通過大量文本資料庫而大幅提高閱讀理解能力，且 Gopher 能夠在高中生的閱讀考試當中獲得高分，甚至接近於一般人類水準的表現，不過它的數學和推理能力都還有待提升。
Gopher 是「超大型的語言模型」
DeepMind 表示，Gopher 是一個「超大型的語言模型」，在一次的測試研究中，Gopher 能夠與人類進行完整的對話，連貫以及通順性都讓研究人員感到非常驚訝。
人工智慧如何發展出像人類一樣具備邏輯、意識和推理的認知能力，是該研究一直在探索的方向，以目前來看，通過大規模資料去訓練巨量人工智慧模型，在目前被認為是主流實現通用人工智慧的一個重要方向。
而研究人員也能透過調查這些不同大小語言模型的優勢和缺點，找出能夠藉由增加規模，繼續提高效能的領域。
轉貼自Source： buzzorange.com
若喜歡本文，請關注我們的臉書 Please Like our Facebook Page： Big Data In Finance
留下你的回應
以訪客張貼回應