摘要: 目前,深度學習模型需要大量算力,內存和電量。當我們需要執行實時推斷,在設備端運行資源有限的情況下運行瀏覽器時,這就是瓶頸。能耗是人們對於當前學習模型的主要擔憂。而解決這一問題的方法之一是提高推斷效率。

 


大模型 => 更多内存引用 => 更多能耗

隨著深度學習的發展,當前最優的模型準確率越來越高,但這一進步伴隨的是成本的增加。

挑戰:

1.模型規模越來越大

2:速度


解決方案:高效推斷算法

剪枝

權重共享

低秩逼近

二值化網絡(Binary Net)/三值化網絡(Ternary Net)


如果你根據神經元權重 L1 / L2範數進行排序,那麼剪枝後模型準確率會下降,(如果排序做得好的話,可能下降得稍微少一點),網絡通常需要經過訓練 - 剪枝 - 訓練 - 剪枝的迭代才能恢復。如果我們一次性修剪得太多,則網絡可能嚴重受損,無法恢復。因此,在實踐一個迭代的過程,這通常叫做“迭代式剪枝” (Iterative Pruning):修剪 - 訓練 - 重複(Prune / Train / Repeat)。

詳細全文及部分程式碼: 鍊數成金

若喜歡本文,請關注我們的臉書 Please Like our Facebook Page: Big Data In Finance

 


留下你的回應

以訪客張貼回應

0
  • 找不到回應

Popular Tags