最近刷到某乎,看到有小伙伴提問到 「'深度學習如何入門,有哪些學習資料?'」??吹竭@里,筆者想整理下一些翻山越嶺,爬坑超車的經(jīng)驗,幫助剛?cè)腴T深度學習的小伙伴。如果有想了解機器學習入門方法的朋友,可以看我之前寫的機器學習入門方法和資料合集。
其實,說實話,深度學習是一個很大的概念,經(jīng)常看到畢業(yè)論文,'基于深度學習的xxxx','基于機器學習的xxxxx'。那么到底什么是深度學習呢?一般的深度學習主要應用在這些領(lǐng)域,推薦系統(tǒng)、自然語言處理、圖像處理等等。
所以說,剛?cè)腴T或者想要入門深度學習的小伙伴們,可以選擇自己感興趣的方向。當然了,這些子領(lǐng)域之間也有一些共性,比如說基礎的一些算法還是要知道的!比如說CNN、RNN、Transorformer。還有一些語言工具,比如說Tensorflow、Pytorch。
1 語言Tensorflow vs Pytorch 到底該選哪個呢?仁者見仁,智者見智。就和選女朋友一樣,沒有最好的,只有最適合你的!
Tensorflow是由Google開源的深度學習框架,而Pytorch是由Facebook開源的深度學習框架。前者在工業(yè)界用的比較多,而后者最近在學術(shù)界也是網(wǎng)紅般的存在。這里還有我們國產(chǎn)的深度學習框架,百度開源的paddlepaddle框架。
最近Tensorflow和Pytorch均更新了版本,大家可以看看 Tensorflow 2.1 以及 Pytorch 1.4
「官網(wǎng):」
Tensorflow : https://www.tensorflow.org/versions/r2.0/api_docs/python/tf
Pytorch : https://pytorch.org/docs/1.3.1/
選擇一門語言后,可以看官網(wǎng)的案例,多研究研究官網(wǎng)的案例,很容易掌握這些框架!
Tensorflow 案例:https://www.tensorflow.org/tutorials/
Pytorch 案例:https://pytorch.org/tutorials/
書籍「關(guān)注公眾號'AI算法之心',后臺回復'深度',獲取以下書籍PDF版」
書籍一:Deep Learning深度學習理論入門的最經(jīng)典的書籍,該書的英文版 《Deep Learning》 是Goodfellow, Bengio, 和 Courville 三位大師的杰作,英文好可以直接看原版了,英文不好的可以看這本中文譯版 《深度學習》 。
「本書首先討論了機器學習的基礎知識,包括從學術(shù)觀點出發(fā)的學習深度學習(線性代數(shù)、概率論和信息論等)所必需的應用數(shù)學知識。隨后深入探討了當前的深度學習算法和技術(shù)。在最后,本書重點關(guān)注了當前的深度學習的研究趨勢和深度學習領(lǐng)域的新動向。」
書籍二:動手學深度學習李沐老師的 《動手學深度學習》 ,英文版叫 Dive into Deep Learning 。這本書是沐神和三位亞馬遜的同事合寫的。這本書對于 零基礎的朋友是非常有意義的 ,是可以從零開始的那種,且注重實踐,每一小節(jié)都有Jupyter Notebook可以運行。
唯一的缺點就是這本書使用MXnet遍寫,好在Github開源Tensorflow 2.0編寫的動手學習深度學習。最近也出了Pytorch版本的動手學深度學習。
Tensorflow 2.0版本鏈接:https://github.com/TrickyGo/Dive-into-DL-TensorFlow2.0
Pytorch 版本鏈接:https://github.com/ShusenTang/Dive-into-DL-PyTorch
「全書的內(nèi)容分為3個部分:第一部分介紹深度學習的背景,提供預備知識,并包括深度學習基礎的概念和技術(shù);第二部分描述深度學習計算的重要組成部分,還解釋近年來令深度學習在多個領(lǐng)域大獲成功的卷積神經(jīng)網(wǎng)絡和循環(huán)神經(jīng)網(wǎng)絡;第三部分評價優(yōu)化算法,檢驗影響深度學習計算性能的重要因素,并分別列舉深度學習在計算機視覺和自然語言處理中的重要應用?!?/strong>
書籍三: Neural Networks and Deep Learning《Neural Networks and Deep Learning》 是 Michael Nielsen 的著作。同樣地,這本書也是主要講解深度學習理論,也提供了相應的Python代碼。此書相比 Goodfellow 的《Deep Learning》更加易讀,并且 Nielsen 的寫作風格配上書中的代碼片段也使得讀完這本書更加容易。
在本書官網(wǎng)上可免費閱讀電子版:http://neuralnetworksanddeeplearning.com/ 另外網(wǎng)上也有分享的對應中文版資源,配套的代碼鏈接:https://github.com/MichalDanielDobrzanski/DeepLearningPython35
書籍四:Deep Learning with PythonKeras之父、Google AI研究員Francois Chollet執(zhí)筆的深度學習領(lǐng)域著作《Deep Learning with Python》。這本書從實踐者的角度講解深度學習,雖然書中也提到了一些理論知識,但是每隔幾個段落,都會教你如何用 Keras 去實現(xiàn)相關(guān)技術(shù)。
「Francois 在書中提供了許多將深度學習應用于計算機視覺、文本、序列等方面的例子,對于想要在學習機器學習和深度學習的同時也了解 Keras 的讀者來說,這本書涵蓋的內(nèi)容非常全面。本書內(nèi)容不僅簡潔易懂,而且作者對于深度學習的趨勢和歷史的一些看法同樣令人印象深刻。需要注意的是這本書并不是一本非常深入的深度學習書籍,它最重要的作用在于通過使用 Keras 庫寫一些各種各樣實際的深度學習示例來教你領(lǐng)會深度學習的基礎概念。」
視頻CMU2020春季深度學習課程「官方介紹:」 以深度神經(jīng)網(wǎng)絡為代表的“深度學習”系統(tǒng)正越來越多地接管所有AI任務,從語言理解,語音和圖像識別到機器翻譯,規(guī)劃,甚至游戲和自動駕駛。結(jié)果,在許多高級學術(shù)環(huán)境中,深度學習的專長正在從深奧的理想變?yōu)閺娭菩缘南葲Q條件,并且在工業(yè)就業(yè)市場中具有很大的優(yōu)勢。
在本課程中,我們將學習深度神經(jīng)網(wǎng)絡的基礎知識及其在各種AI任務中的應用。預計到課程結(jié)束時,學生將對該主題有充分的了解,并且能夠?qū)⑸疃葘W習應用于各種任務。他們還將有資格了解有關(guān)該主題的許多當前文獻,并通過進一步的學習來擴展其知識。
課程官方鏈接:http://deeplearning.cs.cmu.edu/
斯坦福CS230深度學習課程「官方介紹:」 深度學習是AI中最受追捧的技能之一。在本課程中,將學習深度學習的基礎,了解如何構(gòu)建神經(jīng)網(wǎng)絡,并學習如何領(lǐng)導成功的機器學習項目。將了解CNN, RNN, LSTM, Adam, Dropout, BatchNorm等。
課程官方鏈接:https://web.stanford.edu/class/cs230/
臺大李宏毅深度學習課程國立臺灣大學李宏毅教授主講的深度學習(包含機器學習)的視頻,純中文版,相比前面的英文版更好理解,課程相關(guān)的部分資源已經(jīng)relaease出來了,今年課程新增了很多新的前沿的內(nèi)容,分享給大家。
課程官方鏈接:http://speech.ee.ntu.edu.tw/~tlkagk/courses_ML19.html
Paper隨著深度學習的火熱,各大頂會頂刊的accepte Paper也隨之飆升。如果想了解最前言的深度學習理論和方向,Paper是不可或缺的一部分。
那么看哪些方向的頂會呢?CCF 推薦的會議期刊了解一下。
綜合性的人工智能頂會:AAAI,NeurIPS(NIPS),ICML,COLT,IJCAI,ECAI等
自然語言處理方向:ACL,EMNLP,COLING,NAACL等
計算機視覺方向:ICCV,CVPR,ECCV,SIGGRAPH等
信息檢索方向:SIGIR,WSDM,CIKM
數(shù)據(jù)挖掘方向:SIGKDD,ICDE,ICDM,ECML-PKDD等
「如何查找最近幾年的頂會paper呢?」 Google搜索了解下!比如'AAAI 2020的論文'
學習深度學習的過程中,如何檢驗自己學習的成果呢?除了寫出高水平的論文, 比賽就是一個比較好的方向,比賽其實可能會為了成績,摳那千分位,百分位的差距,但是其實在比賽中思考才是最重要的。如何將這些經(jīng)典的算法應用到工業(yè)中,這些算法在工業(yè)中的優(yōu)缺點?慢慢體會!
國內(nèi)比較大型的算法平臺有: 天池大數(shù)據(jù):https://tianchi.aliyun.com/home/datacastle:http://www.pkbigdata.com/datafountain:https://www.datafountain.cn/biendata:https://biendata.com/kesci:https://www.kesci.com/Jdata: https://jdata.jd.com/......
國外比較大型的算法平臺有:kaggle:https://www.kaggle.com/Colab: https://competitions.codalab.org/......
聯(lián)系客服