自然語言處理

 

#Sentiment Classification

• Deep Learning for Sentiment Analysis : A Survey

近年來，深度學習有了突破性發展，NLP 領域裡的情感分析任務逐漸引入了這種方法，並形成了很多業內最佳結果。本文中，來自領英與伊利諾伊大學芝加哥分校的研究人員對基於深度學習的情感分析研究進行了詳細論述

 

#Short Text Expansion

• Generating Wikipedia by Summarizing Long Sequences

本文來自 Google Brain，通過長序列摘要生成維基百科。

 

#Paraphrase Generation

• MaskGAN: Better Text Generation via Filling

谷歌大腦提出使用生成對抗網絡（GAN）來提高文本質量，它通過顯式地訓練生成器產生高質量文本，並且已經在圖像生成領域取得很大成功。GAN 最初設計用於輸出可微分的值，所以生成離散語言是具有挑戰性的。作者認為驗證複雜度本身不代表模型生成的文本質量。

本文引入條件 actor-critic GAN，它可以基於上下文填充缺失的文本。本文從定性和定量的角度證明，相比最大似然訓練的模型，這種方法生成了更真實的有條件和無條件文本樣本。

 

#Text Classification

• Investigating the Working of Text Classifiers

文本分類問題，給一段文本指定一個類別，在主題分類和情感分析中都有應用到。它的難點在於如何在具有語義的文本中，對句子之間的內在聯繫（語義或句法）進行編碼。這對情感分類很關鍵，因為比如像「對照」或者「因果」等關係，會直接決定整個文檔的性質。

然本文並沒有提出一套完整的解決方法，而是通過構建新的數據集（訓練集和測試集儘可能不包含共同的關鍵詞），驗證上面的猜想。此外，作者還設計了一種 ANON 的正則方法，讓網絡不那麼容易記住文檔的關鍵詞。

 

#Question Answering

• A Hybrid Framework for Text Modeling with Convolutional RNN

本文使用 RNN+CNN 的結構來完成 NLP 中的問答任務，其亮點在於使用 RNN 獲取 question 和 answer 的上下文語義，CNN 在語義層面對二者進行操作。

 

 

計算機視覺

 

#MultiModular

• MAttNet: Modular Attention Network for Referring Expression Comprehension

本文對 referring expression（指向目標物體的自然語句）進行 modular network 的建模，提供了主語，位置，關係三個 module。

每個 module 的組合權重由 attention 機制來實現，各個模塊內提供不同的 visual attention 來關注圖片內的相關區域。模型涉及到的 word，module，visual 的 attention 都當做隱變量自動學習。

整體框架可以與 Mask R-CNN 無縫連接，在目標定位和分割兩個 task 上都達到了目前最佳準確率。

 

#GAN

• Wasserstein Auto-Encoders

ICLR2018 高分論文,通過 optimal transport（最優傳輸）的角度，Wasserstein+auto-encoder 構建生成模型。但對 GAN 有情懷，通過對抗訓練學習對手來提升自己，學習此篇 WAE（WGAN 的對手）正是如此，助於我們提升 GAN 網絡的生成性能和或解釋性。

 

#CNN

• A Mixed-scale Dense Convolutional Neural Network for Image Analysis

本文通過將 dilated 卷積的 feature maps 做 dense connection，使模型可以處理計算機視覺中的很多問題，比如混合尺度的處理以及可以應用到很多問題中。同時減少了網絡的參數，加速訓練和應用。

 

#CNN

• Dynamic Weight Alignment for Convolutional Neural Networks

用 CNN 處理序列數據的問題在於，序列數據在時間上是存在畸變的，比如速率不穩定。而 CNN 的這種線性性質，讓卷積核無法處理時間畸變這個問題。

本文提出了一種在 CNN 的卷積核中對齊權重的方法，使得這樣的 CNN 更能處理序列數據，並在多個數據集上驗證了這個方法的有效性。

 

#Object Detection

• Single-Shot Refinement Neural Network for Object Detection

本文來自中科院自動化所，論文利用多層特徵效果顯著，結合了單階段和雙階段的優點，在準確率和速度上有很好的均衡。

 

機器學習

 

#Model Optimization

• Model Evaluation, Model Selection, and Algorithm Selection in Machine Learning

本文回顧了用於模型評估、模型選擇和算法選擇任務中的不同技術，並參考理論和實證研究討論了每種技術的主要優勢和劣勢。

 

#Activation Function

• Training Neural Networks by Using Power Linear Units (PoLUs)

本文設計了一種 PoLU 激活函數，在多個數據集上取得超過 ReLU 的性能。

 

#Recommender System

• Learning Continuous User Representations through Hybrid Filtering with doc2vec

本文把用行為使用 item 描述進行串連，構成文檔，並使用 doc2vec 訓練用戶表示向量。

 

#Multi-task Learning

• NDDR-CNN: Layer-wise Feature Fusing in Multi-Task CNN by Neural Discriminative Dimensionality Reduction

本文研究的問題是多任務學習。作者提出了一種對多個網絡（對應多個任務）進行逐層特徵融合的方法。

 

#Multi-View Learning

• An Attention-based Collaboration Framework for Multi-View Network Representation Learning

本文是網絡表示學習大神 Jian Tang 的工作，論文利用 multi-view 來對網絡進行表示學習。各個 view 之間通過共享鄰居來保證所有節點表示在同一個空間中，同時，通過引入 attention 機制，可以學到不同節點在不同 view 的權重。

 

 

本文經PaperWeekly轉載。

 

 

轉貼自： 壹讀