摘要: Bayesian Target Encoding is a feature engineering technique used to map categorical variables into numeric variables. The Bayesian framework requires only minimal updates as new data is acquired and is thus well-suited for online learning. Furthermore, the Bayesian approach makes choosing and interpreting hyperparameters intuitive. I developed this technique in the recent Avito Kaggle Competition, where my team and I took 14th place out of 1,917 teams. We found that the Bayesian target encoding outperforms the built-in categorical encoding provided by the LightGBM package.

摘要: 在深度學習中除了兜模型外,最重要的就是模型內的參數,也就是weight部分,每個模型開始學習前都需要有一個對應的初始值。這時候有些人會覺得初始值不就隨機給或是給0開始學就好了啊,我一開始接觸也是這麼覺得的,對於簡單的應用(目標函數是convex)/方法這個方式可能有行,但對於神經網路而言若是有一個好的初始值對於模型學習更是事半功倍,若是初始值不好或是目標函數是non-convex問題則會造成神經網路學習到不好的結果。

摘要: 特徵工程,是對原始數據進行一系列的工程處理,將其提煉為特徵,作為輸入供算法和模型使用。特徵工程是一個表示和展現數據的過程。在實際工作中,特徵工程主要是去除原始數據中的雜質和冗餘,設計更高效的特徵以描述求解的問題和預測模型之間的關係。

摘要: 由於對獲獎者要求極高,且評獎程式也極嚴,更因此有「電腦界的諾貝爾獎」之稱。而一般每年圖靈獎只會獎勵一名電腦科學家,極少數年度有兩名以上在同一方向上做出貢獻的科學家同時獲獎。而 2019 年就是那罕有的一年,有高達三位的科學家在同一方向研究做出貢獻,就來看看這三位先驅做了什麼重大研究,改變人類生活。

Popular Tags