online gambling singapore online gambling singapore online slot malaysia online slot malaysia mega888 malaysia slot gacor live casino malaysia online betting malaysia mega888 mega888 mega888 mega888 mega888 mega888 mega888 mega888 mega888 【循環神經網絡三十年發展梳理】

摘要: 【循環神經網絡三十年發展梳理】

 


1982年,美國加州理工學院物理學家John Hopfield發明了一種單層反饋神經網絡Hopfield Network,用來解決組合優化問題。這是最早的RNN的雛形。

1986年,另一位機器學習的泰斗Michael I. Jordan定義了Recurrent的概念,提出Jordan Network。

1990年,美國認知科學家Jeffrey L. Elman對Jordan Network進行了簡化,並採用BP算法進行訓練,……

直到1997年,瑞士人工智能研究所的主任Jurgen Schmidhuber提出長短期記憶(LSTM),LSTM使用門控單元及記憶機制大大緩解了早期RNN訓練的問題。

同樣在1997年,Mike Schuster 提出雙向RNN模型(Bidirectional RNN)。

這兩種模型大大改進了早期RNN結構,拓寬了RNN的應用範圍,為後續序列建模的發展奠定了基礎。 ……

2010年,Tomas Mikolov對Bengio等人提出的feedforward Neural network language model (NNLM)進行了改進,提出了基於RNN的語言模型(RNN LM),並將其用在語音識別任務中,大幅提升了識別精度。在此基礎上Tomas Mikolov於2013年提出了大名鼎鼎的word2vec,與NNLM及RNNLM不同,word2vec的目標……

另一方面,2014年Bengio團隊與Google幾乎同時提出了seq2seq架構,將RNN用於機器翻譯。沒過多久,Bengio團隊又提出注意力Attention機制,對seq2seq架構進行改進。自此機器翻譯全面進入到神經機器翻譯(NMT)的時代,……

2017年,Facebook人工智能實驗室提出基於卷積神經網絡的seq2seq架構,將RNN替換為帶有門控單元的CNN,提升效果的同時大幅加快了模型訓練速度。

此後不久,Google提出Transformer架構,使用Self-Attention代替原有的RNN及CNN,更進一步降低了模型複雜度。 ……

不久之後,Google提出BERT模型,將GPT中的單向語言模型拓展為雙向語言模型(Masked Language Model),並在預訓練中引入了sentence prediction任務。 BERT模型在11個任務中取得了最好的效果,是深度學習在NLP領域又一個里程碑式的工作。

BERT自從在arXiv上發表以來獲得了研究界和工業界的極大關注,感覺像是打開了深度學習在NLP應用的潘多拉魔盒。隨後湧現了一大批類似於“BERT”的預訓練(pre-trained)模型,有引入BERT中雙向上下文信息的廣義自回歸模型XLNet,也有改進BERT訓練方式和目標的RoBERTa和SpanBERT,還有結合多任務以及知識蒸餾(Knowledge Distillation)強化BERT的MT-DNN等。這些種種,還被大家稱為 BERTology。

詳見全文: 今日頭條

若喜歡本文,請關注我們的臉書 Please Like our Facebook Page:

Big Data In Finance

 

 


留下你的回應

以訪客張貼回應

0
  • 找不到回應