選自 Github
作者：Terry T. Um
機器之心編譯
參與：阿儁是個nerd，亞洲，黃清緯，微胖
我相信世上存在值得閱讀的經(jīng)典的深度學(xué)習(xí)論文，不論它們的應(yīng)用領(lǐng)域是什么。比起推薦大家長長一大串論文，我更傾向于推薦大家一個某些深度學(xué)習(xí)領(lǐng)域的必讀論文精選合集。
精選合集標(biāo)準(zhǔn)2016 : +30 引用 「+50」
2015 : +100 引用 「 +200」
2014 : +200 引用 「+400」
2013 : +300 引用 「 +600」
2012 : +400 引用 「 +800」
2011 : +500 引用 「 +1000」
2010 : +600 引用 「 +1200」
目錄
調(diào)查 / 回顧
理論 / 未來
優(yōu)化 / 正則化
網(wǎng)絡(luò)模型
圖像
圖片說明
視頻 / 人類行為
詞嵌入
機器翻譯 / 問答
語音 / 及其他
強化學(xué)習(xí) / 機器人
無監(jiān)督
硬件 / 軟件
推薦論文
總共有85篇論文，不包括「硬件 / 軟件」論文以及「推薦論文」。
一、調(diào)查 / 回顧1.論文： 深度學(xué)習(xí)
Deep learning
作者：Ian.Goodfellow et al.
2.論文：深度學(xué)習(xí)
Deep learning (2015)
作者：Y. LeCun, Y. Bengio 以及 G. Hinton
3. 神經(jīng)網(wǎng)絡(luò)中的深度學(xué)習(xí)：概述
Deep learning in neural networks: An overview
作者：J. Schmidhuber
4. 表征學(xué)習(xí)：回顧及新觀點
Representation learning: A review and new perspectives
作者： Y. Bengio et al.
摘要：通常來說，機器學(xué)習(xí)算法的成功依賴于數(shù)據(jù)的表征，我們假設(shè)這是因為不同的表征方式會卷入并多少掩蓋數(shù)據(jù)背后變化的不同解釋因素。雖然專業(yè)領(lǐng)域的知識可以幫助設(shè)計表征方式，但是，通用的先驗知識也可以，并且對 AI 的追求正在激發(fā)更強大的實現(xiàn)了這些先驗知識的表征學(xué)習(xí)算法的設(shè)計。這篇論文回顧了無監(jiān)督特征學(xué)習(xí)和深度學(xué)習(xí)領(lǐng)域最近成果，包括概率模型、自動編碼器、流形學(xué)習(xí)和深度網(wǎng)絡(luò)的進展。這也激發(fā)了人們?nèi)ソ鉀Q長期懸而未決的問題，也就是學(xué)習(xí)好的表征、計算表征（比如推理）的合適目標(biāo)這個問題，也促進了表征學(xué)習(xí)，密度估計和流型學(xué)習(xí)之間的幾何連接。索引詞——深度學(xué)習(xí)，表征學(xué)習(xí)，特征學(xué)習(xí)，無監(jiān)督學(xué)習(xí)，玻耳茲曼機「Boltzmann Machine」，自動編碼器，神經(jīng)網(wǎng)路。
二、理論/未來
5. 在神經(jīng)網(wǎng)絡(luò)中提取知識
Distilling the knowledge in a neural network
作者：G. Hinton et al.
摘要：一個非常簡單的能改善幾乎任何機器學(xué)習(xí)算法表現(xiàn)的方法，就是訓(xùn)練許多基于相同數(shù)據(jù)集的模型，并取這些模型的預(yù)測平均值。不幸的，使用全部模型來進行預(yù)測是笨拙的，而且允許大量用戶部署的計算成本太昂貴，特別是當(dāng)個體模型是大的神經(jīng)網(wǎng)絡(luò)的時候。Caruana 和他的合作者已經(jīng)表明，有可能將一個集合中的知識壓縮到一個單獨模型中，部署起來也容易得多，而且我們使用了不同壓縮技巧進一步擴展了這一方法。在MNIST上，我們?nèi)〉昧艘恍┝钊顺泽@的成功，而且我們展示了可以顯著改善一個重度使用商業(yè)系統(tǒng)的聲學(xué)模型，方法就是將集合中的知識概括進一個單獨模型。我們也介紹了一個新型集合，由一個或更多的全模型以及許多學(xué)會區(qū)分識別細粒度類別（全模型做不到）的專家模型組成。可以對這些專家模型進行快速、并行訓(xùn)練。
6. 深度神經(jīng)網(wǎng)絡(luò)很易受騙：高信度預(yù)測無法識別的圖片
Deep neural networks are easily fooled: High confidence predictions for unrecognizable images
作者：A. Nguyen et al.
7. 深度神經(jīng)網(wǎng)絡(luò)特征的可遷移性如何？
How transferable are features in deep neural networks? (2014),
作者：J. Yosinski et al.
8. 細節(jié)魔鬼的回歸：深挖卷積網(wǎng)絡(luò)
Return of the Devil in the Details: Delving Deep into Convolutional Nets (2014)
作者：K. Chatfield et al.
9. 為什么無監(jiān)督預(yù)訓(xùn)練對深度學(xué)習(xí)有幫助？
Why does unsupervised pre-training help deep learning (2010)
作者：D. Erhan et al. (Bengio)
10. 理解訓(xùn)練深度前饋神經(jīng)網(wǎng)絡(luò)的難點
Understanding the difficulty of training deep feedforward neural networks (2010)
作者：X. Glorot and Y. Bengio
三、優(yōu)化/正則化11. Batch Normalization 算法：通過減少內(nèi)部協(xié)變量轉(zhuǎn)化加速深度網(wǎng)絡(luò)的訓(xùn)練
Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift (2015)
作者：S. Loffe and C. Szegedy (Google)
12. 深度探入糾正器：在 Imagenet 分類中超過人類表現(xiàn)
Delving deep into rectifiers: Surpassing human-level performance on imagenet classification (2015)
作者：K. He et al.(Microsoft)
13. Dropout：一個預(yù)防神經(jīng)網(wǎng)絡(luò)過擬合的簡單方式
Dropout: A simple way to prevent neural networks from overfitting (2014)
作者：N. Srivastava et al. (Hinton)
摘要：帶有大量參數(shù)的深度神經(jīng)網(wǎng)絡(luò)是非常有力的機器學(xué)習(xí)系統(tǒng)。但是，這類網(wǎng)絡(luò)中存在一個嚴(yán)重的問題，過度擬合。大型網(wǎng)絡(luò)采用緩慢，因此，很難通過測試時集合許多不同大型神經(jīng)網(wǎng)絡(luò)的預(yù)測來解決過度擬合問題。Dropout是一個解決辦法。其中關(guān)鍵思想是，在訓(xùn)練過程中，從神經(jīng)網(wǎng)絡(luò)中隨機放棄單元（以及它們的連接）。這能防止單元過于適應(yīng)。在訓(xùn)練過程中，放棄來自指數(shù)數(shù)量的不同“變薄的”神經(jīng)網(wǎng)絡(luò)的樣本。測試時，簡單使用一個單獨的帶有較小權(quán)重的變薄網(wǎng)絡(luò)，就很容易近似平均所有這些變瘦網(wǎng)絡(luò)預(yù)測的效果。這顯著減輕了過度擬合，也改進了其他正則化方法。我們也表明，這一方法改善了神經(jīng)網(wǎng)絡(luò)在監(jiān)督學(xué)習(xí)任務(wù)（視覺、語音識別、文檔分類以及計算生物學(xué)）方面的表現(xiàn)，在許多基準(zhǔn)數(shù)據(jù)組上的成績目前達到最先進水平。
14. Adam：一個隨機優(yōu)化的方法
Adam: A method for stochastic optimization (2014)
作者：D. Kingma and J. Ba
15. 視覺識別中深度卷積網(wǎng)絡(luò)的空間金字塔池化
Spatial pyramid pooling in deep convolutional networks for visual recognition (2014)
作者：K. He et al.
16. 論深度學(xué)習(xí)領(lǐng)域初始化和動量的重要性
On the importance of initialization and momentum in deep learning (2013)
作者：I. Sutskever et al. (Hinton)
17. 使用 Dropconnect 的神經(jīng)網(wǎng)絡(luò)正則化
Regularization of neural networks using dropconnect (2013)
作者：L. Wan et al. (LeCun)
18. 通過預(yù)防特征檢測器的互相適應(yīng)改善神經(jīng)網(wǎng)絡(luò)
Improving neural networks by preventing co-adaptation of feature detectors (2012)
作者：G. Hinton et al.
19. 超參數(shù)最優(yōu)化的隨機搜索
Random search for hyper-parameter optimization (2012)
作者：J. Bergstra and Y. Bengio
20. 圖像識別中的深度殘差學(xué)習(xí)
Deep residual learning for image recognition (2016)
作者：K. He et al. (Microsoft)
21. 用于物體精準(zhǔn)檢測和分割的基于區(qū)域的卷積網(wǎng)絡(luò)
Region-based convolutional networks for accurate object detection and segmentation (2016)
作者：R. Girshick et al.(Microsoft)
22.深入卷積網(wǎng)絡(luò)
Going deeper with convolutions (2015)
作者：C. Szegedy et al. (Google)
23. 快速 R-CNN 網(wǎng)絡(luò)
Fast R-CNN (2015)
作者： R. Girshick (Microsoft)
24. 用于語義分割的飽和卷積網(wǎng)絡(luò)
Fully convolutional networks for semantic segmentation (2015)
作者：J. Long et al.
25. 大規(guī)模圖像識別的深度卷積網(wǎng)絡(luò)
Very deep convolutional networks for large-scale image recognition (2014)
作者：K. Simonyan and A. Zisserman
26. OverFeat：使用卷積網(wǎng)絡(luò)融合識別、本地化和檢測
OverFeat: Integrated recognition, localization and detection using convolutional networks (2014)
作者：P. Sermanet et al.(LeCun)
27. 可視化以及理解卷積網(wǎng)絡(luò)
Visualizing and understanding convolutional networks (2014)
作者：M. Zeiler and R. Fergus
28. Maxout 網(wǎng)絡(luò)
Maxout networks (2013)
作者：I. Goodfellow et al. (Bengio)
29. Network In Network 深度網(wǎng)絡(luò)架構(gòu)
Network in network (2013)
作者：M. Lin et al.
30. 使用深度卷積神經(jīng)網(wǎng)絡(luò)做 ImageNet 分類
ImageNet classification with deep convolutional neural networks (2012)
作者：A. Krizhevsky et al. (Hinton)
31. 大規(guī)模分布式深度網(wǎng)絡(luò)
Large scale distributed deep networks (2012)
作者：J. Dean et al.
摘要：近期在無監(jiān)督特征學(xué)習(xí)和深度學(xué)習(xí)上的研究表明，在大規(guī)模模型上的訓(xùn)練能夠急劇改善性能。在此論文中，我們考慮了使用成千上萬個 CPU 核訓(xùn)練一個帶有數(shù)十億參數(shù)的深度網(wǎng)絡(luò)的問題。我們開發(fā)了一個名為 DistBelief 的軟件框架，能夠利用數(shù)千臺機器的計算集群訓(xùn)練大規(guī)模模型。在這一框架內(nèi)，我們開發(fā)了兩種大規(guī)模分布訓(xùn)練的算法：（i）Downpour SGD，這是一個異步隨機梯度下降過程，支持眾多模型副本；（ii）Sandblaster，這是一個支持多樣分布批處理優(yōu)化程序的框架，包括一個 L-BFGS 分布式實施方案。Downpour SGC 和 Sandblaster L-BFGS 都增加了深度網(wǎng)絡(luò)訓(xùn)練的規(guī)模和速度。我們已經(jīng)成功的使用這一系統(tǒng)訓(xùn)練了一個比先前報告中大 30 倍的深度網(wǎng)絡(luò)，并且在 ImageNet 挑戰(zhàn)賽上取得了最頂尖的表現(xiàn)，這是一個擁有 1600 萬圖像和 21k 分類的視覺物體識別任務(wù)。還顯示出，在商業(yè)化語音識別服務(wù)中使用同一技術(shù)能夠急加速一個較小的深度網(wǎng)絡(luò)的訓(xùn)練。盡管我們專注于這些方法應(yīng)用于大型神經(jīng)網(wǎng)絡(luò)并報道性能，在下面的算法可應(yīng)用于任何基于梯度的機器學(xué)習(xí)算法。
32. 深而稀疏的修正神經(jīng)網(wǎng)絡(luò)
Deep sparse rectifier neural networks (2011)
作者：X. Glorot et al. (Bengio)
33. 使用卷積神經(jīng)網(wǎng)絡(luò)在自然環(huán)境下閱讀文本
Reading text in the wild with convolutional neural networks (2016)
作者：M. Jaderberg et al. (DeepMind)
四、圖像
34. 使用卷積神經(jīng)網(wǎng)絡(luò)在自然環(huán)境下閱讀文本
Reading text in the wild with convolutional neural networks (2016)
作者：M. Jaderberg et al. (DeepMind)
35. Imagenet 大規(guī)模視覺識別挑戰(zhàn)賽
Imagenet large scale visual recognition challenge (2015)
作者：O. Russakovsky et al.
36. 更快速的 R-CNN 網(wǎng)絡(luò)：使用區(qū)域建議網(wǎng)絡(luò)的實時物體檢測
Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks (2015)
作者： S. Ren et al.
37. DRAW：一個用于圖像生成的循環(huán)神經(jīng)網(wǎng)絡(luò)
DRAW: A recurrent neural network for image generation (2015)
作者：K. Gregor et al.
38. 對精確的物體檢測和語義切割更為豐富的特征分層
Rich feature hierarchies for accurate object detection and semantic segmentation (2014)
作者： R. Girshick et al.
39. 使用卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)和遷移中層圖像表征
Learning and transferring mid-Level image representations using convolutional neural networks (2014)
作者：M. Oquab et al.
40. DeepFace：在面部驗證任務(wù)中接近人類表現(xiàn)
DeepFace: Closing the Gap to Human-Level Performance in Face Verification (2014)
作者：Y. Taigman et al. (Facebook)
41. Decaf：一個用于通用視覺識別的深度卷積激活特征
Decaf: A deep convolutional activation feature for generic visual recognition (2013)
作者：J. Donahue et al.
42. 為場景標(biāo)注學(xué)習(xí)層級特征
Learning Hierarchical Features for Scene Labeling (2013)
作者：C. Farabet et al. (LeCun)
43. 為識別學(xué)習(xí)中層特征（2010），Y.Boureau（LeCun）
Learning mid-level features for recognition (2010)
作者： Y. Boureau (LeCun)
五、圖片說明44. 顯示、注意以及說明：帶有視覺注意模型的神經(jīng)圖像說明生成
Show, attend and tell: Neural image caption generation with visual attention (2015)
作者：K. Xu et al. (Bengio)
45. 顯示和說明：一個神經(jīng)圖像說明生成器
Show and tell: A neural image caption generator (2015)
作者：O. Vinyals et al.
摘要：在人工智能領(lǐng)域，自動描述一張圖像的內(nèi)容是一個基礎(chǔ)問題，它涉及到了計算機視覺和自然語言處理的結(jié)合。在此論文中，我們提出了一個基于深度循環(huán)架構(gòu)的生成模型，結(jié)合了如今在計算機視覺和機器翻譯的最新進展，這個模型能夠用于生成圖像的自然描述。訓(xùn)練出的模型將最大化的接近給定訓(xùn)練圖像的的描述語句。在數(shù)個數(shù)據(jù)集上的實驗都顯示出了這一模型僅僅從圖像描述中學(xué)習(xí)到的準(zhǔn)確率和語言流暢程度。我們的模型相當(dāng)?shù)臏?zhǔn)確，在質(zhì)量和數(shù)量上我們都進行了驗證。例如，當(dāng)前最前沿的方法在Pascal 數(shù)據(jù)集上的 BLEU-1 分?jǐn)?shù)（分?jǐn)?shù)越高越好）是 25，我們的方法達到了 59 分，可相比于人類的表現(xiàn) 69 分。同樣，在 Flickr30K 上的表現(xiàn)從 56 分，改善到了 66 分；在 SBU 上的表現(xiàn)從 19 改善到了 28。最終，在最新發(fā)布的 COCO 數(shù)據(jù)集上，我們得到了 27.7 的 BLEU-4 分?jǐn)?shù)，這是目前最前沿的水平。
46. 用于視覺識別和描述的長期循環(huán)卷積網(wǎng)絡(luò)
Long-term recurrent convolutional networks for visual recognition and description (2015)
作者：J. Donahue et al.
47. 可生成圖像說明的深度視覺-語義校準(zhǔn)模型
Deep visual-semantic alignments for generating image descriptions (2015)
作者：A. Karpathy and L. Fei-Fei
六、視頻 / 人類行為48. 利用卷積神經(jīng)網(wǎng)絡(luò)進行大規(guī)模視頻分類（2014）
Large-scale video classification with convolutional neural networks (2014)
作者：A. Karpathy et al. (FeiFei)
摘要：在解決圖像識別問題方面，卷積神經(jīng)網(wǎng)絡(luò)（CNNs）已被證實是一類功能強大的模型。在這些研究結(jié)論的鼓舞下，我們用487類、100萬個YouTube視頻，經(jīng)驗評估了CNNs 在大規(guī)模視頻分類任務(wù)中的表現(xiàn)。我們研究了多個方法將 CNN 的連通性擴展到時間域來利用本地時空信息，并且認(rèn)為，一種 multiresolution 凹架構(gòu)有望加速訓(xùn)練速度。與基于強特征的基線相比較，我們最好的時空網(wǎng)絡(luò)表現(xiàn)不僅有了顯著提升（ (55.3% 到 63.9%)），而且讓人驚訝的是，與 單框模型相比較，表現(xiàn)也有了適度提升（59.3% 到 60.9%）。通過用 UCF- 101 Action Recognition 數(shù)據(jù)組重新訓(xùn)練頂層，我們還進一步研究了最好模型的泛化情況，結(jié)果發(fā)現(xiàn)與 UCF-101 基線模型相比較，其表現(xiàn)從43.9%提升到了63.3%。
49. DeepPose：利用深度神經(jīng)網(wǎng)絡(luò)評估人類姿勢
DeepPose: Human pose estimation via deep neural networks (2014)
作者：A. Toshev and C. Szegedy (Google)
50. 用于視頻中動作識別的雙流卷積網(wǎng)絡(luò)
Two-stream convolutional networks for action recognition in videos (2014)
作者：K. Simonyan et al.
51. 使用可穿戴傳感器對人類活動識別的調(diào)查
A survey on human activity recognition using wearable sensors (2013)
作者：O. Lara and M. Labrador
52. 用于人類動作識別的 3D 卷積神經(jīng)網(wǎng)絡(luò)
3D convolutional neural networks for human action recognition (2013)
作者：S. Ji et al.
53. 帶有改進軌跡的動作識別
Action recognition with improved trajectories (2013)
作者：H. Wang and C. Schmid
54. 用獨立子空間分析，學(xué)習(xí)用于動作識別的等級恒定的時空特征
Learning hierarchical invariant spatio-temporal features for action recognition with independent subspace analysis (2011)
作者：Q. Le et al
七、詞嵌入55. Glove: 用于詞表征的全局向量Glove: Global vectors for word representation (2014)作者：J. Pennington et al.56. 句子和文檔的分布式表示
Distributed representations of sentences and documents (2014)
作者：Q. Le and T. Mikolov (Google)
摘要：很多機器學(xué)習(xí)算法都需要將輸入表示成一個固定長度的特征向量。對于文本學(xué)習(xí)來說，最常用的一種方法是用詞袋模型來表示。不管詞袋模型多么流行，其存在兩個弱點：一是丟失了詞序信息，二是忽略了詞義。比如，「powerful」，「strong」和「Paris」都是同等地位的。本文，我們提出了一種稱為段落向量的無監(jiān)督學(xué)習(xí)算法，旨在從變長度的長文本中學(xué)習(xí)其固定長度的特征表示，比如句子，段落和文檔。我們的算法通過預(yù)測文檔中的詞來將每一篇文檔表示成一個稠密的向量。這種思路幫助我們的算法解決了詞袋模型的缺點。實驗結(jié)果表面段落向量算法比詞袋模型和其他文本表示的模型都要出眾。最后，我們在幾個文本分類和情感分析任務(wù)上得到了最優(yōu)結(jié)果。
57. 詞、短語及其合成性的分布式表征
Distributed representations of words and phrases and their compositionality (2013)
作者：T. Mikolov et al. (Google)
58. 有效評估詞在向量空間中的表征
Efficient estimation of word representations in vector space (2013)
作者：T. Mikolov et al. (Google)
59. 詞表征：一個針對半監(jiān)督學(xué)習(xí)的簡單且通用的方法
Word representations: a simple and general method for semi-supervised learning (2010)
作者：J. Turian (Bengio)
八、機器翻譯 / 問答60. 面向全人工智能問答： 一套必備的玩具任務(wù)
Towards ai-complete question answering: A set of prerequisite toy tasks (2015)
作者：J. Weston et al.
61. 通過共同學(xué)習(xí)對齊和翻譯實現(xiàn)神經(jīng)機器翻譯
Neural machine translation by jointly learning to align and translate (2014)
作者：D. Bahdanau et al. (Bengio)
62. 利用神經(jīng)網(wǎng)絡(luò)進行序列到序列的學(xué)習(xí)
Sequence to sequence learning with neural networks (2014)
作者：I. Sutskever et al.
63. 用 RNN 編碼——解碼器學(xué)習(xí)短語表征，實現(xiàn)統(tǒng)計機器翻譯
Learning phrase representations using RNN encoder-decoder for statistical machine translation (2014)
作者：K. Cho et al.(Bengio)
64. 一個為句子建模的卷積神經(jīng)網(wǎng)絡(luò)
A convolutional neural network for modelling sentences (2014)
作者：N. Kalchbrenner et al.
65. 用于句子分類的卷積神經(jīng)網(wǎng)絡(luò)
Convolutional neural networks for sentence classification (2014)
作者：Y. Kim
66. 斯坦福 coreNLP 自然語言處理工具
The stanford coreNLP natural language processing toolkit (2014)
作者：C. Manning et al.
67. 基于情感樹庫應(yīng)用于情感組合研究的遞歸深度網(wǎng)絡(luò)模型
Recursive deep models for semantic compositionality over a sentiment treebank (2013)
作者：R. Socher et al.
摘要：詞語義空間雖然非常有用但無法準(zhǔn)確地表達一個短語的意思。類似于情感檢測的組合性任務(wù)需要更豐富的有監(jiān)督訓(xùn)練和評價資源和更有力的組合模型。為了解決這個問題，我么提出了情感樹庫。庫中包括含了11855個句子解析樹中的215154個細粒度情感短語標(biāo)簽，對于情感組合提出了新的挑戰(zhàn)。為此我們提出了遞歸神經(jīng)張量網(wǎng)絡(luò)模型。采用樹庫進行訓(xùn)練，本文模型在很多指標(biāo)上比所有前人的模型都出眾。將單句的正負(fù)情緒分類準(zhǔn)確率從80%提升到了85.4%。對于預(yù)測細粒度的情感標(biāo)簽準(zhǔn)確率提升到了80.7%，相比于特征袋模型提升了9.7個百分點。最后，本文模型是唯一一個可以準(zhǔn)確地捕捉否定詞影響的模型，并且判斷范圍不管是正面短語還是負(fù)面短語都可以到多種樹級別。
68. 幾乎從頭開始的自然語言處理
Natural language processing (almost) from scratch (2011)
作者：R. Collobert et al.
69. 基于語言模型的循環(huán)神經(jīng)網(wǎng)絡(luò)
Recurrent neural network based language model (2010)
作者：T. Mikolov et al.
九、語音/及其他70. 自動語音識別：一種深度學(xué)習(xí)的方法
Automatic Speech Recognition - A Deep Learning Approach (Book, 2015)
作者：D. Yu and L. Deng (Microsoft)
71. 使用深度循環(huán)網(wǎng)絡(luò)進行語音識別
Speech recognition with deep recurrent neural networks (2013)
作者：A. Graves (Hinton)
72. 用于語音識別中聲學(xué)建模的深度神經(jīng)網(wǎng)絡(luò)：四個研究小組的觀點分享
Deep neural networks for acoustic modeling in speech recognition: The shared views of four research groups (2012)
作者：G. Hinton et al.
摘要：大多數(shù)當(dāng)前的語音識別系統(tǒng)都使用隱馬爾科夫模型（HMMs）來解決語音中的時間變化問題，用混合高斯模型（GMMs）來評價每一個HMM擬合聲音輸入表示幀或者小窗口幀系數(shù)的效果。存在一種替代評價方法是使用前饋神經(jīng)網(wǎng)絡(luò)來將多個幀系數(shù)作為輸入，將HMM狀態(tài)的后驗概率作為輸出。深度神經(jīng)網(wǎng)絡(luò)有很多隱藏層，通過新的方法進行訓(xùn)練，在很多語音識別任務(wù)上都比GMM模型更加出眾，有時甚至?xí)梅浅６?。本文將會做一個綜述，分別對四家研究機構(gòu)在最近語音識別的聲學(xué)建模領(lǐng)域取得的成功進行介紹。
73. 基于上下文預(yù)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)在大規(guī)模詞表語音識別中的應(yīng)用
Context-dependent pre-trained deep neural networks for large-vocabulary speech recognition (2012)
作者：G. Dahl et al.
74. 使用深度信念網(wǎng)絡(luò)進行聲學(xué)建模
Acoustic modeling using deep belief networks (2012)
作者：A. Mohamed et al. (Hinton)
十、強化學(xué)習(xí)/機器人75. 通過深度神經(jīng)網(wǎng)絡(luò)和樹搜索來掌控圍棋游戲
Mastering the game of Go with deep neural networks and tree search (2016)
作者：D. Silver et al. (DeepMind)
摘要：圍棋被視為人工智能挑戰(zhàn)經(jīng)典游戲中最難的一個，因為其巨大的搜索空間和對位置和移動的評價難度。本文提出了一種新方法使用“值網(wǎng)絡(luò)”來評價位置，用“策略網(wǎng)絡(luò)”來選擇移動。這些深度神經(jīng)網(wǎng)絡(luò)是從人類專家棋局中進行有監(jiān)督學(xué)習(xí)，然后在從自對弈中進行強化學(xué)習(xí)。如果不考慮前向搜索的話，當(dāng)前最好的神經(jīng)網(wǎng)路模型是蒙特卡洛樹搜索，這種方法通過進行上千局的自對弈來進行仿真。我們也介紹了一種新點的搜索算法，將蒙特卡洛仿真與值網(wǎng)絡(luò)和策略網(wǎng)絡(luò)進行了綜合。使用這種搜索算法，我們的項目AlphaGo有99.8%的勝率，并且以5：0的比分打敗了來自歐洲的人類冠軍。這也是計算機第一次在真實圍棋比賽中幾百人類專業(yè)選手，將10年后的目標(biāo)提前完成了。
76. 通過深度強化學(xué)習(xí)實現(xiàn)人類水平控制
Human-level control through deep reinforcement learning (2015)
作者：V. Mnih et al. (DeepMind)
77. 偵測機器人抓取的深度學(xué)習(xí)
Deep learning for detecting robotic grasps (2015)
作者：I. Lenz et al.
78. 用強化學(xué)習(xí)玩雅達利游戲
Playing atari with deep reinforcement learning (2013)
作者：V. Mnih et al. (DeepMind)
十一、無監(jiān)督79. 生成對抗網(wǎng)絡(luò)
Generative adversarial nets (2014)
作者：I. Goodfellow et al. (Bengio)
摘要：我們提出了一種通過對抗過程來評判生成模型的新框架，這里包括兩個模型：一個是生成模型G，用來學(xué)習(xí)數(shù)據(jù)分布，另一個是評判模型D，用來計算一個樣本來自于訓(xùn)練數(shù)據(jù)而不是G的概率。訓(xùn)練G模型的過程是最大化D模型犯錯的概率。這個框架相當(dāng)于一個小型的兩人游戲。在任意的G和D函數(shù)空間中，存在一個唯一的解，使得G恢復(fù)訓(xùn)練數(shù)據(jù)的分布并且D得出的概率是0.5。這里，G和D均被定義為多層感知機，整個系統(tǒng)用向后傳播誤差的方法來進行訓(xùn)練。在整個訓(xùn)練過程和樣本生成過程中都沒有用到任何的馬爾科夫鏈或者是展開近似推理網(wǎng)絡(luò)。通過定性分析和生成樣本評價的定量分析證明了本框架的潛力。
80. 自編碼變量貝葉斯
Auto-Encoding Variational Bayes (2013)
作者：D. Kingma and M. Welling
81. 用大規(guī)模無監(jiān)督學(xué)習(xí)搭建高水平特征
Building high-level features using large scale unsupervised learning (2013)
作者：Q. Le et al.
82. 無監(jiān)督特征學(xué)習(xí)中單層網(wǎng)絡(luò)分析
An analysis of single-layer networks in unsupervised feature learning (2011)
作者：A. Coates et al.
83. 堆棧降噪解碼器：在本地降噪標(biāo)準(zhǔn)的深度網(wǎng)絡(luò)中學(xué)習(xí)有用的表征
Stacked denoising autoencoders: Learning useful representations in a deep network with a local denoising criterion (2010)
作者：P. Vincent et al. (Bengio)
84. 訓(xùn)練受限波茲曼機的實踐指南
A practical guide to training restricted boltzmann machines (2010)
作者：G. Hinton
十二、硬件/軟件
85. TensorFlow：異構(gòu)分布式系統(tǒng)上的大規(guī)模機器學(xué)習(xí)
TensorFlow: Large-Scale Machine Learning on Heterogeneous Distributed Systems (2016)
作者：M. Abadi et al. (Google)
摘要：TensorFlow是一個表達機器學(xué)習(xí)算法的接口，也是執(zhí)行這些算法的實現(xiàn)。TensorFlow可以在多種操作系統(tǒng)上運行，從移動設(shè)備（比如手機）到包含上百臺機器和上千臺計算硬件（比如GPU）的大規(guī)模分布式系統(tǒng)。軟件系統(tǒng)非常靈活，可以用于多種算法，包括深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練和推理算法，并且被廣泛應(yīng)用在計算機科學(xué)的多個領(lǐng)域和別的研究領(lǐng)域中，包括語音識別，計算機視覺，機器人，信息檢索，自然語言處理，地理信息提取和計算藥物發(fā)現(xiàn)等。有的是用來做研究，有的則是用來解決工程問題。本文介紹了由Google開發(fā)的TensorFlow接口和實現(xiàn)方法。TensorFlow的接口和實現(xiàn)已經(jīng)在2015年11月以Apache 2.0的協(xié)議開源，可以在官網(wǎng)www.tensorflow.org上找到。
86. Theano：一個針對快速計算數(shù)學(xué)表達公式的Python框架
Theano: A Python framework for fast computation of mathematical expressions
作者：R. Al-Rfou et al. (Bengio)
87. MatConvNet: 針對matlab 的卷積神經(jīng)網(wǎng)絡(luò)
MatConvNet: Convolutional neural networks for matlab (2015)
作者：A. Vedaldi and K. Lenc
88. Caffe：快速特征嵌入的卷積結(jié)構(gòu)
Caffe: Convolutional architecture for fast feature embedding (2014)
作者： Y. Jia et al.
十三、推薦論文
89. 對立學(xué)習(xí)推論
Adversarially Learned Inference (2016)
作者：V. Dumoulin et al.
90. 理解卷積神經(jīng)網(wǎng)絡(luò)
Understanding Convolutional Neural Networks (2016)
作者：J. Koushik
91. SqueezeNet 模型：達到 AlexNet 水平的準(zhǔn)確率，卻使用縮減 50 倍的參數(shù)以及< 1mb="">
SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and< 1mb="" model="" size="">
作者：F. Iandola et al.
92. 學(xué)習(xí)搭建問答神經(jīng)網(wǎng)絡(luò)
Learning to Compose Neural Networks for Question Answering (2016)
作者：J. Andreas et al.
93. 用深度學(xué)習(xí)和大規(guī)模數(shù)據(jù)搜集，學(xué)習(xí)眼手協(xié)調(diào)的機器人抓取
Learning Hand-Eye Coordination for Robotic Grasping with Deep Learning and Large-Scale Data Collection (2016)(Google)
作者：S. Levine et al.
94. 將人隔離在外：貝葉斯優(yōu)化算法回顧
Taking the human out of the loop: A review of bayesian optimization (2016)
作者：B. Shahriari et al.
95. Eie：壓縮神經(jīng)網(wǎng)絡(luò)的高效推理引擎
Eie: Efficient inference engine on compressed deep neural network (2016)
作者：S. Han et al.
96. 循環(huán)神經(jīng)網(wǎng)絡(luò)的自適性計算時間
Adaptive Computation Time for Recurrent Neural Networks (2016)
作者：A. Graves
97. 像素循環(huán)神經(jīng)網(wǎng)絡(luò)
Pixel Recurrent Neural Networks (2016)
作者：A. van den Oord et al. (DeepMind)
98. LSTM：一場搜索空間的奧德賽之旅
LSTM: A search space odyssey (2015)
作者：K. Greff et al.
99. 訓(xùn)練非常深度網(wǎng)絡(luò)
Training very deep networks (2015)
作者：R. Srivastava et al.
本文由機器之心編譯，轉(zhuǎn)載請聯(lián)系本公眾號獲得授權(quán)。
------------------------------------------------
加入機器之心（全職記者/實習(xí)生）：hr@almosthuman.cn
投稿或?qū)で髨蟮溃篹ditor@almosthuman.cn
廣告&商務(wù)合作：bd@almosthuman.cn
點擊「閱讀原文」，下載全部論文↓↓
聯(lián)系客服
